Koala monte sur l’arbre des LLMs

Qu’est-ce qui fait la valeur d’une bibliothèque, la quantité de livres qu’elle contient ou son système de classement ? Dérivé de Llama, Koala a été l’un des premiers à lancer la vague du “supervised fine-tuning” qui rend des modèles hébergés sur un ordinateur presque aussi efficaces que les grands, et notamment ChatGPT.

En février dernier, Meta présentait Llama, un grand modèle de langage open source. À l’origine réservé aux chercheurs en faisant la demande, il fuitait quelques jours plus tard sur les réseaux. Depuis, nombre de modèles et chatbots basés sur Llama ont fait leur apparition, avec une visible préférence pour les animaux andins dans le choix de leur nom : Alpaca, ChatLlama, Vicuña, qui prétend atteindre 90 % de la qualité de ChatGPT … Plus récemment, Koala s’est écarté de la tradition et non seulement par l’origine australienne de son nom.

Ce modèle de dialogue pensé pour la recherche a été le premier à formuler la perspective qui agite le monde des LLMs: “Il suggère que les modèles qui sont suffisamment petits pour être exécutés localement peuvent atteindre une grande partie des performances de leurs cousins plus grands s’ils sont entraînés sur des données soigneusement sélectionnées. Cela pourrait signifier, par exemple, que la communauté devrait s’efforcer davantage de conserver des ensembles de données de haute qualité, car cela pourrait contribuer davantage à la création de modèles plus sûrs, plus factuels et plus performants que la simple augmentation de la taille des systèmes existants” expliquent les chercheurs du laboratoire de recherche sur l’intelligence artificielle de l’université de Berkeley, qui l’ont créé.

Autrement dit, l’ambition de Koala est simple : montrer qu’un petit modèle peut faire aussi bien que les grands, en allant chercher les “bonnes” données aux “bons endroits”. Les chercheurs de Bair ont ainsi nourri la vague du “supervised fine-tuning”, du réentraînement supervisé:

Quelles sont, dès lors, ces fameuses “bonnes données” ? Les chercheurs de Berkeley ont partagé publiquement les ensembles de données utilisés où l’on retrouve notamment plusieurs dizaines de milliers de conversations publiées par des utilisateurs de ShareGPT, une extension de Google Chrome où sont partagées des conversations faites avec ChatGPT. Le modèle a également utilisé l’ensemble des données utilisées pour entraîner le modèle Alpaca de Stanford, qui se nourrit de Da-vinci 003 d’OpenAI, d’Anthropic HH, d’OpenAI WebGPT et Summarization…. Les chercheurs précisent également que les réponses apportées par l’IA ont été évaluées par des humains (100 évaluateurs contre 5 pour Alpaca par exemple, voir ci-dessous) et trouvée au moins équivalentes à ChatGPT une fois sur deux.

L’utilisation de données en provenance d’OpenAI empêche donc toute utilisation commerciale. Mais l’idée générale n’est pas seulement d’aller récupérer sur le web des données d’interaction entre les utilisateurs et les grands modèles de langage. Stable Diffusion a par exemple récemment rendu disponible en open source le premier dataset utilisable commercialement (lire Qant du 4 mai). Les données sont ensuite utilisées via le framework EasyLM, publié par la même occasion par Bair. Il permet de répartir l’entraînement sur plusieurs accélérateurs GPU (ou TPU) à partir de Llama et de modèles plus anciens (GPT-J et Roberta).

M. de R.

Source : Koala: A Dialogue Model for Academic Research (Berkeley Artificial Intelligence Research)

Pour en savoir plus : Qant, une brève histoire des LLM.