Percer la boîte noire des modèles

Le Center for Research on Foundation Models (CRFM) de l’université de Stanford vient de présenter un indice de transparence des modèles de fondation (Foundation Model Transparency Index) qui évalue la transparence de dix grands modèles de langage. Sans surprise, les modèles open source que sont Llama 2 et Bloomz mènent la marche, avec des scores dépassant les 50%. Mais OpenAI, très décriée pour avoir abandonné sa transparence complète au lancement de GPT-4, se classe troisième, devant même l’open source Stability AI.

C’est surtout sur les indicateurs “amont” que l’open source se démarque : la transparence sur les jeux de données, notamment, et tout le processus d’entraînement. Sur les indicateurs de modèle, qui précisent les propriétés et la fonction du modèle de base, telles que l’architecture, les capacités et les risques du modèle, et sur les indicateurs en aval, comme la distribution, l’impact du modèle sur les utilisateurs et les mises à jour, les grands éditeurs rattrapent une partie de leur retard.

Les chercheurs de Stanford estiment que la transparence est essentielle pour comprendre les menaces et les avantages des modèles d’IA et les réglementer en conséquence. Ils veulent éviter que l’IA ne reprennent la pratique des réseaux sociaux, où règne en maître un algorithme omniscient et tout-puissant, que ses créateurs ne prennent pas la peine d’expliquer aux utilisateurs. Au contraire

Cette idée appréciable s’est heurtée, jusqu’à présent, à un obstacle de taille : l’opacité des réseaux neuronaux.

Rendre transparente une boîte noire…

Dans un réseau neuronal profond, des composants (appelés neurones par analogie avec le cerveau humain) sont disposés en plusieurs couches. Quand ils reçoivent une donnée (input) d’un autre neurone, ils le multiplient par un poids déterminé lors de l’entraînement et, selon le résultat d’une fonction d’activation, ils lui appliquent une transformation non linéaire avant de le transmettre à un autre. Leur comportement collectif a longtemps été considéré comme une “ »boîte noire”: personne, même le réseau lui-même, ne peut expliquer comment le résultat a été obtenu.

Depuis le début de l’année, on constate cependant quelques avancées en la matière. Des chercheurs d’Antropic ont découvert qu’il existe de meilleures unités d’analyse que les neurones individuels (lire Qant du 11 octobre). Ils ont développé une méthode pour trouver ces unités, appelées « features », dans de petits réseaux à une seule couche. Ces « features » correspondent à des motifs d’activations neuronales. Contrairement aux neurones individuels, ces « features » peuvent représenter des éléments spécifiques tels que des séquences d’ADN, du texte légal ou des requêtes HTTP. Les tests ont montré que ces « features » sont plus interprétables que les neurones individuels.

Les « features » offrent également un moyen ciblé de diriger les modèles. En activant artificiellement une « feature », le comportement du modèle change de manière prévisible. De plus, les « features » apprises sont généralement universelles entre différents modèles, ce qui suggère que les connaissances acquises à partir d’un modèle peuvent être généralisées à d’autres.

En mai, des chercheurs d’OpenAI ont utilisé GPT-4 pour expliquer (en partie) le fonctionnement de GPT-2, donc d’un réseau neuronal profond. Dès janvier, des physiciens de l’université Rice avaient utilisé l’analyse de Fourier – qui permet de représenter une fonction ou un signal sous la forme d’une somme de fonctions élémentaires – pour identifier des structures dans le fonctionnement d’un modèle d’analyse des turbulences dans l’atmosphère et l’océan.

Le but final est de mieux comprendre et contrôler les modèles d’IA pour améliorer leur sécurité et leur fiabilité. Pour l’instant cependant, que le modèle soit open source ou non, que les poids et les jeux de données soient rendus publics ou non, un réseau neuronal profond reste une boîte noire.

… et la gouverner

Une autre étude, issue de l’université de Montréal, étudie la possibilité de créer des « règles » pour les LLM. Les chercheurs ont proposé un nouveau cadre nommé « Hypotheses-to-Theories » (HtT), qui se compose de deux étapes : l’induction et la déduction. Durant l’induction, le LLM génère et vérifie des règles à partir d’exemples d’entraînement. Dans la phase de déduction, le LLM utilise la bibliothèque de règles apprise pour raisonner sur de nouvelles questions. L’inspiration derrière HtT provient du processus de découverte scientifique, similaire à la manière dont les humains développent des théories basées sur la génération et la vérification d’hypothèses. En construisant une bibliothèque de règles avec HtT, le LLM peut être sollicité pour effectuer des tâches de raisonnement explicite basées sur ces règles, réduisant ainsi les chances d’hallucination.

Les expériences menées ont montré que HtT améliore considérablement les performances par rapport aux méthodes de sollicitation existantes, et que les règles apprises peuvent être transférées à différentes formes du même problème. Ces découvertes suggèrent que HtT pourrait permettre d’améliorer les capacités de raisonnement des LLMs.

La présence de règles peut aussi permettre de mieux gouverner les modèles. C’est l’approche d’Anthropic, qui donne à ses IA une “constitution” de règles et valeurs à respecter. Tout récemment, elle a consulté un panel d’environ 1 000 adultes américains sur les principes que l’IA devrait suivre. Certains des principes proposés par le panel étaient similaires à ceux déjà en place pour Claude, mais d’autres étaient nouveaux, comme l’adaptabilité de l’IA aux personnes handicapées. Après avoir recueilli les suggestions, Anthropic a entraîné deux versions de Claude pour comparer leurs performances.

Pour en savoir plus :

• Steven Bills et al., Language models can explain neurons in language models, OpenAI, mai 2023
• Adam Subel et al., Explaining the physics of transfer learning in data-driven turbulence modeling, PNAS Nexus, janvier 2023
• Rishi Bommasani et al, The Foundation Model Transparency Index, CRFM- Stanford, oct. 2023
• Trenton Bricken et al., Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Anthropic, oct. 2023
• Zhaocheng Zhu et al., Large Language Models can Learn Rules, Arxiv, 2023
• New York Times