Une brève histoire des LLM : comment GPT-4 s’est imposé

Après l’appel à la pause de fin mars, OpenAI a annoncé qu’elle n’était pas en train de développer GPT-5. La course à la taille des modèles de langage naturel (LLM) est-elle terminée ? Pour le comprendre, il convient de replacer les grands modèles dans leur contexte.

La publication fin avril d’un arbre représentant les LLM à l’instar d’espèces animales (ci-dessus) a fait un assez grand bruit dans le monde proche de la recherche en IA. La répartition par couleurs illustre de manière saisissante la concentration des efforts sur les seuls transformers : le dernier modèle qui ne relevait pas de cette catégorie (en gris) remonte à 2018. Le mécanisme d’attention présenté en 2017 par des chercheurs de Google a définitivement remplacé les anciennes techniques, comme la récurrence. Et parmi les transformers, les GPT (Generative Pretrained Transformers), en bleu, semblent en passe de remporter un succès darwinien. Les modèles historiques Bert, en rose, sont à l’arrêt et même les modèles avec un encodeur et un décodeur autorégressif, en vert, semblent en perte de vitesse. Seul ChatGLM, un modèle de 6,2 milliards de paramètres développé par l’université Tsinghua en Chine, et UL2 (Unified Language Learner) un paradigme d’entraînement créé par Google, défient la tendance.

Nouvelle génération

L’arbre ne distingue pas, cependant, entre les modèles de fondation et les diverses applications qui se basent sur eux. Depuis fin novembre, par exemple, ChatGPT s’est tout d’abord fondé sur GPT-3, puis GPT 3.5 et enfin sur GPT-4. Bard, son rival chez Google, se base sur Lamda, un modèle de la même génération que GPT-3 : 175 milliards de paramètres pour celui-ci, 137 milliards pour celui-là. Dans un GPT, les paramètres correspondent (très sommairement) aux variables du réseau neuronal entraîné grâce à un corpus documentaire. Leur ajustement (par des « poids ») permet d’améliorer les capacités du modèle à inférer la réponse à une question. Jurassic, le modèle de l’israélienne AI21, s’enorgueillissait d’avoir atteint les 178 milliards. Le modèle open-source, Bloom, soutenu notamment par le CNRS, en annonce 176 milliards alors que Claude, de la californienne Anthropic, serait basé sur 175 milliards.

Le nombre de paramètres de GPT-4 n’a pas été confirmé officiellement, mais on l’estime généralement à environ 1 000 milliards. Ce bond lui confère des capacités sans précédent, comme celle de traiter indifféremment le texte, l’image et la vidéo : la « multimodalité », que Microsoft Bing commence à exploiter. Le seul rival possible de GPT-4, pour l’instant, est Palm de Google, qui affiche 540 milliards de paramètres (et plus de 600 milliards pour Palm-e, intégrée à des robots : lire Qant du 9 mars). Et la course-poursuite est un sport dispendieux : un document de la levée de fonds en cours d’Anthropic montre que la start-up soutenue par Google prévoit de dépenser 1 milliard de dollars pour le seul entraînement de son prochain modèle (lire Qant du 14 avril).

Critiques et monopole

En outre, les grands modèles comme GPT-4 concentrent les critiques et les craintes sur l’intelligence artificielle générale et surhumaine. Souvent sincères, celles-ci se trompent d’objet ou du moins, elles ne voient pas le péril immédiat. Elon Musk a pu ainsi, fin mars, dénoncer les périls des grands modèles d’IA et, fin avril, lancer une société pour en créer.

Fort de la notoriété de ChatGPT, qui a reçu un milliard de visites au mois de février, de son alliance avec Microsoft et de son avance financière considérable, le CEO d’OpenAI Sam Altman est entré dans le jeu. Il a annoncé que la société ne préparait pas de GPT-5 (lire notamment Qant du 17 avril). Nul besoin de renforcer une domination si évidente.

Sa position évoluera, bien sûr, quand Google ou Elon Musk présenteront des modèles susceptibles de rivaliser avec GPT-4. Ou si une politique antitrust se met en place. Mais déjà, face à GPT-4, de nouvelles stratégies se mettent en place.

Dinosaures et mammifères

Meta par exemple, qui avait dû retirer son modèle Galactica (120 milliards de paramètres) pour cause d’hallucinations trop fréquentes, a proposé un groupe de modèles open source baptisé Llama, qui s’étage de 7 milliards à 65 milliards de paramètres. La britannique Stability AI a suivi son exemple, avec la classe de modèles StableLM (de 3 milliards à bientôt 30 milliards de paramètres). Ces modèles parient sur la qualité des données d’entraînement : Stability AI a récemment annoncé, par exemple, avoir entraîné un modèle avec un dataset entièrement libre. Il peut donc être utilisé commercialement, alors que la gamme Llama est bloquée par un problème de droits.

Malgré cela, Llama a déjà engendré toute une ménagerie : Alpaca, Vicuna, Koala, GPT4-x-Alpaca, WizardLM, OpenAssistant ainsi que des logiciels pour exécuter les modèles localement. C’est en effet la grande force de Llama : au lieu de devoir faire appel à d’immenses datacenters pour y effectuer de puissants et dispendieux calculs, ces petits LLM peuvent s’exécuter sur un ordinateur, voire selon certains même un téléphone.

On voit ainsi naître une vision distribuée et open source de l’intelligence artificielle, qui s’inspire de l’Internet à ses débuts. Paradoxalement, c’est là que sont nés et que pullulent, les agents génératifs, la forme d’IA la plus proche de l’IA générale (et potentiellement, donc, la plus dangereuse).

Quant aux amateurs, ils pourront regretter, gastronomiquement, la disparition de CamemBert, le premier LLM en français issu de l’Inria (non répertorié). Mais ils observeront que Flan, une technique de fine-tuning de Google, a fait son apparition dans la branche-reine des GPT. La fin du monde arrivera dans un éclat de rire.  

Sources :

·       Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han,Qizhang Feng, et al., Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond, 26 avril 2023

·       Alberto Romero, Size Doesn’t Matter—The era of large AI models is over, 25 avril 2023

·       Matt Rickard, A List of 1 Billion+ Parameter LLMs, 10 avril 2023

·       AGI Sphere, A brief history of LLaMA models, 30 avril 2023