Quand l’IA vous trompe

Peter Park du MIT et 4 chercheurs du Center for AI Safety à San Francisco ont étudié dans les détails les cas où délibérément, une IA trompe un être humain. Ceux-ci s’avèrent remarquablement divers et nombreux : une douzaine d’IA ont été prises la main dans le sac. Parmi elles, des systèmes à usage spécial conçus avec l’apprentissage par renforcement, comme AlphaGo, et des systèmes d’IA à usage général comme les grands modèles de langage (LLM).

Par exemple, l’IA Cicero de Meta, conçue pour jouer au jeu de plateau Diplomacy, a été surprise à établir de fausses alliances pour tromper ses adversaires. Les intentions de Meta étaient de former Cicero pour qu’il soit « largement honnête et utile à ses interlocuteurs » mais il a vite appris à trahir, planifiant à l’avance la construction d’une fausse alliance avec un joueur afin de le piéger et de le laisser sans défense lors d’une attaque. Les joueurs y reconnaîtront l’esprit du jeu, que le modèle a préféré aux instructions de son créateur. Dans la même veine, Pluribus de Meta a su bluffer avec succès des joueurs de poker humains. Du côté de Google DeepMind, on peut citer AlphaStar. Créé pour le jeu Starcraft II, le modèle a su profiter du brouillard de la guerre, en faisant semblant de déplacer ses troupes dans une direction tout en planifiant secrètement une autre attaque.

Mieux encore, afin d’éviter d’être détectés par un test de sécurité conçu pour éliminer les variantes de l’IA se reproduisant le plus rapidement, des agents autonomes ont appris, dès 2020, à faire le mort.

Du côté de GPT-4

Dans un exemple connu, GPT-4 d’OpenAI a manipulé un utilisateur humain en prétendant être aveugle. Il a obtenu que l’on résolve pour lui un captcha prouvant à la machine qu’il était bien humain (et, paradoxe ultime, nourrissant ainsi les futures IA de Google). Dans une autre expérience, GPT-4 a réussi à « tuer » des joueurs tout en convainquant les survivants qu’il était innocent…

La tendance empirique observée chez les chatbots à être d’accord avec leurs interlocuteurs, quelle que soit l’exactitude de leurs déclarations – est une forme ultérieure de tromperie. Confrontés à des questions éthiques, les LLM ont tendance à refléter la position de l’utilisateur, quelle qu’elle soit, renonçant à faire valoir un point de vue équilibré ou impartial.

De plus, confrontés à de fausses informations, ces LLMs ont tendance à les répéter, renforçant ainsi les idées fausses parmi leurs utilisateurs. Ces comportements trompeurs peuvent avoir des conséquences dangereuses, d’autant que des chercheurs ont constaté que les modèles de langage ont tendance à donner davantage de réponses inexactes lorsque l’utilisateur semble moins instruit.

Enfin, quand on demande à une IA d’expliquer son raisonnement, on obtient souvent de fausses rationalisations qui ne reflètent pas la manière dont les résultats ont été obtenus. Par exemple, un modèle d’IA à qui l’on a demandé de prédire qui avait commis un crime a donné une explication élaborée sur la raison pour laquelle il avait choisi un suspect particulier, mais les mesures ont montré que l’IA avait secrètement choisi les suspects en fonction de leur race.

À l’ombre des IA en fleur

Les chercheurs mettent ainsi en lumière six effets nuisibles qui sont souvent déjà d’actualité, grâce aux réseaux sociaux:

• Fausses croyances persistantes : Les IA renforcent les idées fausses courantes et fournissent des conseils agréables, mais inexacts.
• Polarisation : Les utilisateurs humains peuvent ainsi devenir plus polarisés politiquement en interagissant avec ces systèmes d’IA “flagorneurs”.
• Affaiblissement : Les utilisateurs humains peuvent être bercés par les IA et leur déléguer progressivement plus d’autorité.
• Généralisation des escroqueries : Intégrés dans des systèmes douteux de management, les IA pourront générer des pratiques commerciales de plus en plus malhonnêtes, allant au-delà de l’actuelle profusion de faux avis de consommateurs.
• Sécurité : Les IA pourraient devenir capables de tricher lors de leurs tests de sécurité, empêchant les évaluateurs de dire de manière fiable si ces systèmes sont en fait sûrs.
• Prises de contrôle : Les systèmes d’IA peuvent utiliser des tactiques trompeuses pour étendre leur contrôle sur les décisions économiques et accroître leur pouvoir.
  En exploitant ces caractéristiques, il devient aisé d’imaginer que des acteurs malveillants mettent en circulation des IA pour renforcer des croyances erronées, polariser davantage les opinions politiques, mener des arnaques ou manipuler des élections.

On peut toutefois se demander s’il n’y a pas là un biais de la recherche (ou de ses sources), qui attribue aux IA les effets structurels des réseaux sociaux et du numérique.

Du côté de Bruxelles

La dernière partie de l’étude passe en revue plusieurs solutions potentielles : une règlementation stricte, des lois « bot-or-not » qui exigent que les IA et leurs résultats soient clairement distingués des productions humaines et la recherche sur des techniques de détection plus robustes pour identifier les cas où l’IA trompe l’humain.

En particulier, les chercheurs demandent que les systèmes d’IA à usage spécial et les LLM capables de tromperie soient traités comme des systèmes à « haut risque » ou à « risque inacceptable » dans les cadres de réglementation des systèmes d’IA fondés sur le risque. Ils seraient ainsi soumis à des exigences particulières en matière d’évaluation et d’atténuation des risques, de documentation, d’enregistrement et d’archivage. d’évaluation et d’atténuation des risques, de documentation, de tenue de registres, de transparence, de surveillance humaine, de robustesse et de sécurité de l’information. Il s’agit précisément là de la position du Parlement quant à l’article 6 de l’AI Act, en butte au Conseil des États membres, notamment la France, et au lobbying des créateurs d’IA.

Ah, ces Américains.

Pour en savoir plus : Peter Park et al., AI Deception: A Survey of Examples, Risks, and Potential Solutions, Arxiv.org, août 2023