Une équipe de chercheurs de l’université de Californie à Berkeley vient de présenter une méthode pour le contrôle des robots humanoïdes, inspirée des techniques de prédiction utilisées dans le traitement du langage naturel. Leur recherche propose d’appliquer des transformateurs causaux – des modèles spécifiquement conçus pour traiter des séquences de données en tenant compte de l’ordre dans lequel ces données apparaissent – pour prédire les trajectoires sensorimotrices, permettant ainsi à un robot humanoïde de naviguer dans des environnements réels sans programmation spécifique préalable.
Le document illustre la réussite de cette méthode en montrant la capacité du robot humanoïde Digit développé par Agility Robotics (lire Qant du 13 juin 2023) à se déplacer dans des environnements urbains complexes, comme les rues de San Francisco, en s’adaptant à différents types de surfaces.
La recherche s’appuie sur un ensemble de données de trajectoires issues de diverses sources, incluant des données de capture de mouvement et des vidéos YouTube. L’entraînement du modèle sur ces données a permis de développer un système capable de généraliser ses apprentissages à des commandes non rencontrées durant la phase d’entraînement, comme la marche arrière.
Un aspect notable de cette étude est la capacité du modèle à traiter des données incomplètes ou imparfaites, en prédisant les informations manquantes et en les remplaçant par des tokens masquables. Cette caractéristique rend le modèle plus flexible et capable de s’améliorer même en l’absence d’informations complètes.
27 heures de vidéo ont suffi pour apprendre à Digit à se promener dans San Francisco.
Pour en savoir plus :
- Ilija Radosavojic et al., Humanoid Locomotion as Next Token Prediction, Arxiv, 2024
- The Decoder
Source archive Kessel : https://qant.kessel.media/posts/pst_d833c5c6916d4c8bb0a0c7d11b659269