Le MIT présente un cadre pour les LLM dans les robots

Mise en application du modèle HPT • Source : MIT

Pour surmonter la difficulté de former des robots capables de s’adapter à des situations variées, plutôt que d’être limités à des scénarios spécifiques, des chercheurs du MIT viennent de présenter un nouveau framework appelé « Heterogeneous Pre-trained Transformers » (HPT). Il pré-entraîne un réseau neuronal profond à partir de données hétérogènes pour créer une représentation commune des tâches et des robots dans un modèle “transformer”, la même que les grands modèles de langage (LLM). Cette approche surmonte les limites de l’apprentissage par imitation, qui échoue souvent face à des changements mineurs comme la lumière ou des obstacles. La recherche montre que HPT atteint des performances supérieures à d’autres approches et s’adapte efficacement à de nouveaux robots et tâches. Cela montre son potentiel pour l’apprentissage robotique généralisé, un secteur qui a notamment vu la start-up californienne Physical Intelligence lever 400 millions de dollars pour développer un logiciel d’IA capable de contrôler une large gamme de robots pour accomplir diverses tâches.