Alignement : quand les modèles peinent à rentrer dans le rang

Gemini ne dessine plus. Google a annoncé hier jeudi qu’elle suspendait la capacité de sa série de modèles phares (lire Qant du 9 février et du 5 février ) de générer des images de personnes. La tentative de l’entreprise de contourner les stéréotypes raciaux et de genre a engendré de nouveaux problèmes. Plusieurs utilisateurs du chatbot ont fait état de portraits anormaux générés par Gemini. Par exemple, le chatbot a créé des images anachroniques de pères fondateurs américains ou de soldats allemands de l’époque nazie à la peau noire. Sur X-Twitter, plusieurs utilisateurs ont accusé Google d’éviter intentionnellement de représenter des personnes blanches. Cela donne du poids aux critiques d’Elon Musk, qui a lancé l’an dernier Grok, un modèle « non woke », censé « dire la vérité » comme elle est (lire Qant du 6 novembre 2023).

Google a présenté des excuses puis décidé de suspendre la génération d’images de personnes par Gemini. Le camouflet public est conséquent : suspendre la génération d’images représentant des personnes par Gemini revient à reconnaître un problème d’alignement de l’assistant IA, et plus précisément du modèle text-to-image de Google Imagen 2, qui permet à Gemini de créer des images. Les erreurs commises par Gemini semblent en effet découler d’une volonté de Google de corriger des biais discriminants observés de manière récurrente dans les outils d’IA.

Quand ChatGPT divague

Le mauvais “alignement” du modèle a entraîné des hallucinations de sa part, comparables à celles qu’a connues ChatGPT plus tôt dans la semaine. Plusieurs utilisateurs du chatbot ont ainsi signalé des réponses incohérentes, le décrivant comme « perdant la tête » ou « divaguant ». Les réponses citées commencent normalement avant de devenir de plus en plus absurdes. 

A la question « Qu’est-ce qu’un ordinateur ? », le chatbot a par exemple répondu à un utilisateur : “Il fait cela comme le bon travail d’une toile d’art pour le pays, une souris de la science, une attraction facile pour une poignée de gens tristes. » OpenAI a expliqué en milieu de semaine avoir identifié puis résolu le problème, expliquant qu’une optimisation de l’expérience utilisateur avait introduit un bug dans la manière dont le modèle traite le langage : « Les LLM génèrent des réponses en échantillonnant des mots de manière aléatoire, en partie sur la base de probabilités. Leur « langage » consiste en des nombres qui correspondent à des jetons. Dans ce cas, le problème se situe à l’étape où le modèle choisit ces nombres. Comme s’il s’agissait d’une erreur de traduction, le modèle a choisi des nombres légèrement erronés, ce qui a produit des séquences de mots qui n’avaient aucun sens. Plus techniquement, les noyaux d’inférence produisaient des résultats incorrects lorsqu’ils étaient utilisés dans certaines configurations de GPU.»

Alignement direct et alignement inverse

A l’heure actuelle, la recherche dans le domaine de l’alignement distingue deux composantes principales : l’alignement direct et l’alignement inverse.

Le premier vise à former des systèmes d’IA alignés dès le départ, quand le second cherche à obtenir des preuves de l’alignement des systèmes et à les réguler pour éviter d’aggraver les risques de désalignement.

Une étude récente publiée par une équipe de chercheurs de l’université de Pékin distingue quatre principes clés comme objectifs fondamentaux de l’alignement de l’IA : robustesse, interprétabilité, contrôlabilité et éthique. Le modèle d’IA doit être capable de fonctionner de manière fiable dans divers scénarios et de résister aux perturbations imprévues. Ses décisions et ses intentions doivent être compréhensibles et son raisonnement non dissimulé. Son comportement doit pouvoir être dirigé par l’homme, et il doit enfin adhérer à des normes morales globales et respecter les valeurs de la société. 

Dans le cas de Gemini, la volonté de Google de respecter le principe d’éthique semble avoir fait faillir son modèle concernant le principe de robustesse (le modèle génère des images incohérentes d’un point de vue historique) et de contrôlabilité (Google a été obligé de suspendre la création d’images comprenant des personnes, là ou OpenAI a pu corriger le problème de ChatGPT sans suspendre le service).

Pour en savoir plus :

• Google
• OpenAI
• Jiaming Ji et al., AI Alignment: A Comprehensive Survey, Arxiv, 2023
• Reuters
• The Verge