Dans le domaine de la robotique autonome, un enjeu majeur est de rendre les robots plus polyvalents – ce qui à haut niveau présente quelques similarités avec l’intelligence artificielle générale. Jusqu’à présent, il est courant de devoir reprogrammer entièrement un robot lors de la moindre modification de sa tâche ou de son environnement. Une collaboration entre 33 laboratoires académiques et dirigée par DeepMind tente de résoudre ce problème en créant un jeu de données qui rassemble plates-formes, comportements, environnements et modèles d’apprentissage. L’objectif annoncé est de développer un robot généraliste, à contre-courant de l’ultra-spécialisation actuelle.
L’Open X-Embodiment, une base de données rassemble les informations sur plus d’un million de trajectoires de 22 plates-formes robotiques, ainsi que 60 jeu de données existants. Ces données, collectées auprès de 34 institutions des le monde, couvrent plus de 500 compétences et 150 000 tâches réalisées par les robots, constituant ainsi la base de données robotiques la plus complète à ce jour.
Les chercheurs du projet comparent Open X-Embodiment à ImageNet, une base de plus de 14 millions d’images créée en 2009. De grands ensembles de données diversifiés surpassent les modèles dotés d’un ensemble de données restreint à leurs domaines de spécialité, mais la constitution de vastes bases est une procédure coûteuse en ressources et en temps. De plus, il est difficile d’en garantir la qualité et la pertinence.
En format RLDS, la base est mise à disposition de la communauté de recherche. L’équipe a mis en open-source à la fois le jeu de données et les modèles formés.Open X-Embodiment proposera en effet des modèles pré-entraînés, basés sur deux architectures Transformers, RT-1 et RT-2. La première est un réseau de 35 millions de paramètres qui combien les représentations visuelles et verbales pour permettre de contrôler un robot. La deuxième transforme les instructions et les images en tokens utilisables par un LLM.
Le projet permettra ainsi d’entraîner des modèles capables de piloter différents types de robots, de suivre des instructions variées, d’effectuer un raisonnement basique sur des tâches complexes et de généraliser efficacement. Les chercheurs de DeepMind ont déjà formé deux modèles: RT-1-X et RT-2-X, sur la base de RT-1 et RT-2.
RT-1-X montre une capacité de transfert positif. En d’autres termes, en capitalisant sur le savoir accumulé depuis diverses plateformes robotiques, il a pu optimiser les capacités de plusieurs robots, esquissant la possibilité de politiques robotiques généralistes et adaptatives. Les tests montrent des résultats prometteurs : un modèle formé sur l’Open X-Embodiment affiche des performances 50% supérieures à celles d’un modèle formé sur une tâche spécifique, comme par exemple l’ouverture d’une porte. Ces résultats ont été obtenu en testant les capacités de RT-1-X dans les laboratoires d’universités comme Berkeley, Stanford ou encore NYU.
RT-2-X est un modèle de vision-langage-action qui “comprend” ce qu’il voit et entend. Il utilise également des informations provenant d’Internet pour sa formation. Il est capable de maîtriser des compétences qui n’étaient pas présentes dans ses données initiales, avec notamment une meilleure compréhension spatiale. Par exemple, il peut désormais différencier les instructions « déplacer une pomme près d’un tissu » et « déplacer une pomme sur un tissu », une nuance rendue possible grâce à la diversité des données sur lesquelles il a été formé. Il a donc prouvé qu’il est possible de combiner les données de plusieurs robots pour élargir le nombre de tâches qu’un robot peut exécuter, même si celui-ci dispose déjà d’une quantité importante de données.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_3f653f46f8f74884ba257bf2f352acbf
