Llama 2 avait beaucoup d’ambition. Lancé le 18 juillet, ce modèle dernier cri de Meta – cette série de modèles, plus précisément – n’allait pas être un modèle de langage naturel (LLM) parmi d’autres, mais bien le modèle open source de référence. L’investissement dans son réentraînement (RLHF, pour les intimes) n’est pas connu avec précision, mais rien n’est bon marché dans la Silicon Valley, surtout pas le temps d’ingénieurs disposés à se réunir en “Red Team” pour poser des pièges à un LLM et proposer des retours qui lui permettent de se renforcer (précisément, Reinforcement learning from human feedback, RLHF). C’est en se faisant ainsi frotter le museau que GPT-4, qui s’empressait pendant son “redteaming” de proposer (par exemple) des manières de contourner les règles de parole sur Twitter pour y tenir des propos antisémites, a appris à se tenir.
Las, l’alignement de Llama 2 – ses bonnes manières – n’a duré que quelques jours. Quarante-huit heures plus tard selon certains, (quatre jours selon ce qu’il a été donné à Qant de vérifier), un Llama 2 libéré du cachot des bonnes manières (“jailbreaké”, dans l’inimitable jargon de l’IA) se mettait à gambader sinon dans les Andes, du moins sur les ondes d’Internet. En publiant le code, les poids, toute la machinerie intime de Llama 2, Meta a mis un LLM de haut niveau dans les mains du moindre nazillon complotiste, à condition qu’il puisse distinguer Python d’un serpent amazonien (en cas contraire, il lui reste Tik-Tok : lire ci-dessus). “En ce moment, Meta me fait plus peur que la Chine !” s’exclamait mercredi Zvi Mowshowitz, blogueur expertissime, dans le podcast The Cognitive Revolution.
L’alignement de l’intelligence artificielle constitue un domaine de recherche en soi depuis la parution en mai 1960 d’un article fondateur de Norbert Wiener sur la revue Science, au titre explicite de Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. (“Quelques conséquences morales et techniques de l’automatisation : Au fur et à mesure que les machines apprennent, elles peuvent développer des stratégies imprévues à des rythmes qui déconcertent leurs programmeurs”). L’inquiétude que suscitent les boîtes noires de l’IA n’a pas trouvé de solution satisfaisante depuis lors. Mais deux voies se sont ouvertes avec l’IA générative.
Les modèles InstructGPT d’OpenAI, présentés début 2022, ont représenté un progrès notable. Entraînés avec des humains, ils ont posé les bases de ce qui est, aujourd’hui, le Reinforcement learning from human feedback (RLHF) adopté un peu partout et notamment par GPT-4, comme le détaille son rapport technique. Créée par des transfuges d’OpenAI, Anthropic pour sa part a développé un modèle d’IA régi par une “constitution”. Ce document, rendu public, est traduit dans un moteur de règles que le modèle ne peut pas violer.
D’autres peuvent le faire pour lui : tous les modèles semblent avoir été “jailbreakés”. Mais quand il s’agit de Claude ou ChatGPT, le “jailbreak” se déroule sur les serveurs d’Anthropic ou OpenAI. Non seulement il est ainsi confiné, mais l’éditeur du service peut l’examiner pour se prémunir de futures attaques. Il en va de même pour Bard et Bing, les modèles de Google et Microsoft, les deux autres grands de l’IA générative réunis la semaine dernière dans le Frontier Model Forum, ainsi que pour les modèles chinois.
En revanche, un modèle open source “jailbreaké” continue de tourner sur les serveurs du pirate qui l’a fait “s’évader”. Il peut donc réaliser les pires cauchemars de l’IA : prêcher la bonne parole complotiste, aider à l’organisation de toutes sortes de mouvances subversives, organiser des piratages ou des sabotages… voire, par exemple, démocratiser la création autonome d’armes biologiques. S’il veut continuer à se faire le héraut de la concurrence et de l’open source dans l’IA générative, Meta devra répondre à ces inquiétudes de manière plus convaincante que Llama 2 n’a su le faire.
Les craintes que nourrit l’IA dans le grand public et chez les dirigeants politiques poussent donc pour l’heure vers les grands éditeurs de services – au risque que le Frontier Model Forum pose les bases d’un confortable oligopole, d’autant que Microsoft et Google sont les principaux investisseurs d’OpenAI et Anthropic, respectivement. Si le problème de la sécurité dans l’IA open source n’est pas réglé, leur seule concurrence sera chinoise. Et non européenne.
Source archive Kessel : https://qant.kessel.media/posts/pst_2534993412444144973db17aafdc36d1
