Pourquoi le test de Turing a perdu son sens à l’ère de l’IA

Dans une expérience contrôlée de cinq minutes menée en 2024, les participants ont jugé GPT-4 humain dans 54 % des cas. Une autre expérience, organisée avec trois interlocuteurs, a donné 73 % à GPT-4.5 lorsqu’on lui demandait d’adopter une personnalité humaine. Ces chiffres ne prouvent pas qu’un modèle de langage soit devenu une personne. Ils montrent qu’une courte conversation écrite est un moyen fragile de distinguer un humain d’une machine.

C’est pourquoi le test de Turing a perdu son statut d’examen général de l’intelligence. Il mesure encore la capacité d’un système à imiter une conversation humaine dans un protocole donné. Il ne permet pas de savoir s’il comprend le monde, vérifie ses erreurs, planifie dans le temps ou mérite qu’on lui confie une tâche réelle.

Ce que Turing avait proposé

Dans son article de 1950, « Computing Machinery and Intelligence », Alan Turing partait de la question « Les machines peuvent-elles penser ? ». Plutôt que de définir immédiatement les mots « machine » et « penser », il proposait un jeu d’imitation. Un interrogateur humain échange par écrit avec deux participants cachés : une personne et une machine.

L’interrogateur doit identifier la machine. Si celle-ci rend le jugement peu fiable, elle réussit le jeu. La voix, l’apparence et le corps sont exclus ; l’évaluation porte sur la conversation et le raisonnement visible dans le texte.

Le déplacement était ingénieux : la pensée n’est pas directement observable, alors qu’un comportement conversationnel peut être enregistré. La difficulté est apparue lorsque cette approximation comportementale a été utilisée comme une théorie complète de l’intelligence.

Le langage est devenu une surface que l’on peut optimiser

Les modèles de langage apprennent à partir de vastes collections de textes humains et produisent des suites plausibles. Dans une épreuve dont la cible visible est le comportement humain, ils partent avec un avantage structurel.

Un modèle n’a pas besoin d’avoir vécu une enfance pour raconter un souvenir crédible. Il n’a pas besoin de ressentir une émotion pour répondre avec empathie. Il n’a pas besoin d’une mémoire personnelle durable pour maintenir un personnage pendant quelques minutes. Ces comportements peuvent être générés par des régularités de langage, des consignes et le contexte de la conversation.

Le style est facile à régler : employer de l’argot, faire des fautes occasionnelles, répondre brièvement, paraître moins savant ou changer de sujet quand la question devient difficile. Une interface naturelle est utile pour un assistant. L’erreur consiste à confondre cette interface avec les capacités qu’elle est censée révéler.

Le jeu récompense la mise en scène, pas la fiabilité

Un assistant fiable devrait distinguer les faits des hypothèses, citer ses sources, reconnaître l’absence de preuve, demander le contexte manquant et s’arrêter avant une action dangereuse. Dans une conversation ordinaire, ces précautions peuvent le rendre moins humain, car les humains sont eux-mêmes incohérents et se trompent parfois avec assurance.

Le jeu d’imitation favorise d’autres tactiques. Inventer une expérience personnelle, commettre une petite erreur ou éviter une réponse précise peut augmenter l’impression d’humanité. Le système doit convaincre le juge, pas fournir la réponse la plus exacte.

Un modèle optimisé pour ce score peut donc progresser sans devenir plus compétent. Le test mesure alors la résistance de l’évaluateur aux signaux sociaux, plutôt que la capacité du système à travailler de manière sûre.

Ce que montrent les expériences récentes

L’étude préenregistrée de Jones et Bergen en 2024 comparait ELIZA, GPT-3.5, GPT-4 et des participants humains dans des échanges de cinq minutes. GPT-4 a été jugé humain dans 54 % des échanges, contre 67 % pour les témoins humains.

Le point important n’est pas que GPT-4 serait « presque humain ». C’est que l’identité devient difficile à juger dans une interaction courte. Les auteurs ont constaté que le style et les indices socioémotionnels pesaient davantage que les notions traditionnelles d’intelligence.

Dans l’étude de 2025 « Large Language Models Pass the Turing Test », GPT-4.5 a été jugé humain dans 73 % des cas avec une personnalité humanisée. Llama 3.1 a atteint 56 %, tandis que GPT-4o et ELIZA ont obtenu 21 % et 23 %. Il s’agit d’un preprint arXiv, à lire avec cette réserve. Le résultat le plus solide est la sensibilité du test aux consignes et au protocole.

Paraître humain ne prouve pas la compréhension

Un système peut produire une réponse convaincante sans posséder une représentation du monde reliée aux faits. Il peut décrire une émotion sans l’éprouver, expliquer une démonstration puis commettre une erreur élémentaire, ou évoquer le tour précédent sans conserver une mémoire durable de son interlocuteur.

Cela ne suffit pas à démontrer que les modèles n’ont aucune forme de compréhension. Cela montre que le test de Turing ne peut pas trancher cette question. Une même conduite extérieure peut venir de mécanismes internes très différents, invisibles dans une transcription.

Le travail réel exige de conserver un état, vérifier les entrées, utiliser les outils correctement, détecter les échecs, réviser un plan et laisser une trace. Une conversation réussie pendant cinq minutes ne prédit pas automatiquement une recherche de six heures ou une modification logicielle en plusieurs étapes.

Le cas inverse compte aussi. Un moteur d’échecs ou un système scientifique peut dépasser les humains dans son domaine sans imiter une conversation. Le style humain est un comportement lié à l’intelligence, pas sa définition.

La question pratique s’est inversée

Le jeu original demandait si une machine pouvait convaincre quelqu’un qu’elle était humaine. Aujourd’hui, il faut surtout vérifier l’origine, l’autorisation et la responsabilité d’une interaction.

Un message qui paraît humain peut venir d’un bot. Un message qui paraît artificiel peut être écrit par une personne fatiguée, traduit ou retouché. Rathi et ses collègues ont montré que, sans interrogatoire actif, les juges humains et les modèles devenaient moins précis ; le meilleur témoin GPT-4 était même jugé humain plus souvent que les témoins humains.

Cela concerne les escroqueries, les faux comptes, l’usurpation du support client et la propagande automatisée. Le style ne constitue pas une preuve d’identité. Il faut une authentification pour l’identité, une provenance pour le contenu et des permissions ainsi que des journaux pour les actions importantes.

Que faut-il mesurer à la place ?

Il n’existe pas de test unique, car l’intelligence comporte plusieurs dimensions. Il faut évaluer les faits avec des jeux cachés et la vérification des sources ; le raisonnement avec des tâches adversariales et contrefactuelles ; le travail avec des résultats de bout en bout ; et la fiabilité avec la calibration, la qualité des refus, l’usage des outils, le coût, la latence et la stabilité.

Le test de Turing peut rester un petit test de risque social : il indique si un système produit une impression humaine convaincante. C’est utile pour les interfaces et les études sur la tromperie. Cela ne suffit pas à certifier l’intelligence, la conscience ou la confiance.

Turing avait raison de transformer une définition difficile en expérience observable. Ce qui ne fonctionne plus, c’est de transformer un comportement observable en échelle universelle. Une machine peut parler comme un humain sans être fiable, tandis qu’un système peut être très compétent sans parler comme un humain. Le test n’a pas disparu ; il a changé de catégorie.