Gaia, des hypothèses pour détecter l’AGI

Chacun sait que l’IA dépasse l’homme dans de nombreuses tâches, du jeu d’échecs à l’examen du barreau. Est-on pour autant vraiment proches d’une situation où elle surpasserait son créateur dans une généralité de tâches, sans préavis – ce qui, dans le jargon, se nomme une “intelligence artificielle générale” (AGI), voire une “superintelligence” ? Pour le mesurer, une équipe de chercheurs issus de Meta, HuggingFace et AutoGPT ont élaboré un benchmark, nommé Gaia, conçu pour tester de manière exhaustive les capacités des assistants IA dans des contextes variés et réalistes. Parmi les auteurs de cette étude, on notera la présence de Yann Le Cun, qui dirige l’IA chez Meta. 

Gaia (General AI Assistants) a été développé pour évaluer les grands modèles de langage (LLMs) à travers des scénarios qui imitent des situations concrètes, nécessitant des compétences diverses telles que le raisonnement, la gestion de la multimodalité, la navigation sur le web et l’utilisation d’outils variés. Le benchmark se compose de 466 questions, chacune conçue pour évaluer différentes facettes des capacités des assistants IA. Ces questions couvrent un large éventail de scénarios, allant de la recherche d’informations en ligne à l’analyse de données multimodales. Elles sont conçues pour être directes mais exigeantes en termes d’exécution, avec des réponses qui doivent être factuelles, concises et précises.

Du modèle à l’humain, un gouffre

La conception de Gaia repose sur quatre principes : des questions du monde réel, l’interprétabilité, la robustesse contre la mémorisation et la facilité d’utilisation. Le benchmark couvre divers cas d’utilisation d’assistants, tels que les tâches personnelles, la science et la connaissance générale. Les questions sont conçues pour être interprétables, sans ambiguïté et robustes contre la contamination des données ou les tentatives de force brute par les systèmes IA. 

Les questions de Gaia sont classées en plusieurs niveaux de difficulté, chacun nécessitant un ensemble unique de compétences et de capacités de raisonnement. Par exemple, une question de niveau 1 pourrait demander aux participants de trouver le nombre exact de participants à un essai clinique sur un site web spécifique, tandis qu’une question de niveau supérieur peut impliquer l’analyse d’images ou de données complexes pour fournir une réponse précise. 

L’étude révèle une différence notable entre les performances des humains et celles des LLMs. Alors que les humains atteignent un taux de réussite de 92 %, GPT-4, même avec des plugins, ne dépasse pas 15 %. Cette différence met en lumière les limites actuelles des LLMs dans la gestion de tâches du monde réel et souligne le besoin d’améliorations dans ces systèmes.

L’analyse des performances sur Gaia montre que les assistants IA actuels sont particulièrement déficients dans des domaines tels que la compréhension contextuelle profonde, la navigation efficace sur le web, et l’intégration de multiples sources d’informations. Ces lacunes indiquent des directions claires pour les recherches futures dans le domaine de l’IA. 

Le benchmark Gaia offre un nouveau moyen d’évaluer les assistants IA, en se concentrant sur des tâches pratiques et réalistes. Cette approche pourrait conduire à des améliorations significatives dans le développement des capacités des modèles, en les orientant vers des applications plus concrètes et adaptées aux besoins réels.

Pour en savoir plus :

• Grégoire Mialon et al., Gaia : A benchmark for general AI assistants, Arxiv, 2023

–