Des chercheurs de Google et de l’Université technique de Berlin viennent de présenter Palm-e, un modèle d’apprentissage multimodal de langage visuel incorporé (VLM) avec 562 milliards de paramètres. Il s’agit du plus grand VLM jamais développé, capable d’exécuter une variété de tâches sans nécessiter une formation supplémentaire. Le modèle permet à un robot mobile de comprendre les commandes haut niveau en langage naturel (« Va prendre des chips »), puis de les exécuter avec une résilience et une autonomie accrues. Palm-e est capable de planifier une séquence d’actions pour guider un robot mobile vers une cible et il est capable de reconnaître un objet, même s’il n’y a jamais été directement exposé auparavant.
Le modèle, basé sur Google’s Palm, est également capable de transférer des connaissances et des compétences d’une tâche à l’autre, ce qui améliore considérablement ses performances par rapport aux modèles de robots à une seule tâche. Les chercheurs de Google espèrent que ce modèle inspirera d’autres recherches sur l’IA incorporée, et qu’il sera utilisé pour des applications réelles telles que l’automatisation domestique ou l’industrie robotique.
Source : Palm-E
Pour en savoir plus : Ars Technica
Source archive Kessel : https://qant.kessel.media/posts/pst_f0717d63431640a89853de9f6d6c4af6
