Comment éviter les coûts faramineux liés à l’entraînement des modèles de langage naturel (LLM), extrêmement dépendants de GPU devenues introuvables et hors de prix ? Des chercheurs de l’Académie de l’intelligence artificielle de Pékin et d’autres universités en Chine et à Singapour, ont formulé en début de moi une première réponse.
La clé : une stratégie de croissance, dans laquelle le nombre de paramètres n’est pas fixe tout au long du processus d’entraînement. Cette stratégie permet de réduire considérablement les coûts de calcul (voir graphique ci-dessus) en préservant les fonctions qui maintiennent la cohérence entre les versions plus petites et plus grandes du modèle. Cela permet le transfert de connaissances et une expansion efficace du modèle.
Construit sur le cadre FreeLM, leur modèle FLM-101B compte, comme son nom l’indique, 101 milliards de paramètres (en regard, GPT-3 en compte 175 milliards et GPT-4, dit-on, 1760 milliards). Son architecture incorpore deux objectifs de pré-entraînement guidés par les signaux de la langue et les signaux de l’enseignant. Le modèle est entraîné comme un LLM bilingue chinois-anglais avec un mélange flexible de corpus anglais et chinois, ainsi que des données d’instruction comme OIG (Open Instruction Generalist) et COIG (Chinese Open Instruction Generalist). Les signaux de l’enseignant, sous la forme d’étiquettes binaires emoji, permettent d’unifier les objectifs de l’enseignant et de la modélisation linguistique. La stratégie de croissance permet de former les versions 16B, 51B et 101B du modèle à 16 milliards, 51 milliards puis 101 milliards de paramètres de manière séquentielle et économique.
Les grands modèles comportant plus de 100 milliards de paramètres sont généralement confrontés à des problèmes de stabilité qui peuvent gonfler les coûts et exiger une maintenance continue pendant l’entraînement. FLM-101B en a été préservé par les objectifs unifiés de pré-entraînement et les opérations de croissance à préservation de fonction, estiment les auteurs, ce qui a encore réduit les coûts d’entraînement.
Les méthodes d’évaluation existantes pour les LLM, telles que MMLU et C-Eval, se concentrent principalement sur les capacités axées sur les connaissances. Les auteurs introduisent un nouveau critère d’évaluation systématique du QI, en tenant compte de quatre facettes vitales de l’intelligence : la cartographie symbolique (la capacité de généralisation des LLM à des contextes inédits grâce à l’utilisation de symboles au lieu d’étiquettes de catégories), la compréhension des règles (la capacité des modèles à comprendre des règles données et à effectuer les actions correspondantes), le pattern mining (à la fois l’induction et la déduction) et la résistance aux interférences (la capacité des LLM à éviter d’être induits en erreur par le bruit, tant dans le langage que dans les images).
Les auteurs pensent que ce cadre d’évaluation nouveau stimulera la recherche future en matière d’évaluation des LLM. Quoi qu’il en soit, FLM-101B soutient la comparaison avec d’autres modèles open source généralement plus petits, mais bien plus chers à entraîner, comme la série Llama de Meta. GLM-130B, pour sa part, est un autre modèle open source bilingue chinois-anglais.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_e5475996fb85447abeb0cd111128edb0