Mi-ChatGPT, mi-humain

L’illustre test de Turing, présenté en 1950 dans un article fondateur, Computing Machinery and Intelligence, consiste à déterminer si, par le biais d’une conversation, un ordinateur peut convaincre un humain qu’il est humain. GPT-4 le passe désormais dans 40 % des cas, éclipsant Eliza qui, dès 1966, le surmontait dans presque une conversation sur 4. 

Le règne de Turing, ou du moins de son test, touche donc à sa fin. Depuis l’an dernier, la course s’est engagée parmi les chercheurs pour trouver de nouvelles métriques pour l’intelligence artificielle.  

Une équipe de chercheurs de l’université du Michigan vient d’apporter une pierre fascinante à l’édifice. Elle analyse  “l’humanité” du comportement de GPT-4 et GPT-3.5. Autrement dit : les réponses comportementales de l’IA peuvent-elles être distinguées de celles des humains ? 

Pour cela, les chercheurs ont soumis les deux versions de ChatGPT (l’une formée sur GPT-4, l’autre sur GPT-3.5) à cinq jeux comportementaux, dont le bien connu jeu du prisonnier. Chacun de ces jeux a pour objectif de révéler des traits de comportement du chatbot comme l’altruisme, l’équité, la confiance, l’aversion au risque… 

En parallèle, une enquête basée sur le modèle psychologique des « Big Five » (un modèle de personnalité composé de cinq dimensions : l’ouverture à l’expérience, la conscience, l’extraversion, l’agréabilité et le névrose) a été administrée pour évaluer les traits de personnalité des IA. Les résultats de l’étude révèlent que la version de ChatGPT qui utilise GPT-4 affiche des traits comportementaux et de personnalité statistiquement indiscernables de ceux d’un être humain. 

L’IA tend même parfois à adopter des comportements plus altruistes et coopératifs que la moyenne humaine, notamment dans des jeux évaluant la confiance, l’équité et la coopération. Ainsi, par exemple, dans le jeu de l’ultimatum, où un premier joueur se voit attribuer une certaine somme d’argent, et il doit ensuite décider quelle part garder pour soi et quelle part elle attribue à un second joueur, qui décide ensuite s’il accepte ou non l’offre. Si le second joueur refuse, aucun des deux individus ne reçoit d’argent. Contrairement à certains humains qui peuvent choisir des stratégies purement égoïstes, ChatGPT-4 a tendance à proposer des divisions plus équitables de la somme d’argent, ce qui pourrait refléter une compréhension profonde de l’équité et de la réciprocité.

Dans la majorité des cas, les actions de ChatGPT-4 suggèrent cependant que le modèle maximise la moyenne de son propre bénéfice et de celui de son partenaire, contrairement aux humains qui présentent des comportement plus hétérogènes.

De plus, le chatbot modifie son comportement en fonction des expériences précédentes et des contextes, suggérant une forme d’apprentissage. Le comportement de l’IA varie significativement en fonction du contexte et du cadrage des situations, similaire à ce qui est observé chez les humains.

C’est ainsi que malgré quelques différences notables, l’étude conclut que le comportement de ChatGPT-4 est généralement indiscernable de celui d’un humain. 

L’homme est une corde tendue entre la bête et le Surhomme, une corde au-dessus d’un abîme. Danger de franchir cet abîme, danger de se mettre en route, danger de regarder en arrière, danger d’être saisi d’effroi, danger de s’arrêter soudain.» (F. Nietzsche*, Ainsi parlait Zarathoustra) *

Pour en savoir plus :

• Qiaozhu Mei et al., A Turing test of wether AI chatbots are behaviorally similar to humans, PNAS, 2024
• A. Turing, Computing machinery and intelligence, Mind, 1950
• C. Jones, B. Bergen, Does GPT-4 Pass the Turing Test?, Arxiv, oct. 2023