Magma : Microsoft entre en éruption

Le fonctionnement global de Magma • Source : Jianwei Yang et al.

Microsoft Research a publié un nouveau modèle d’intelligence artificielle multimodale, baptisé Magma, conçu pour interagir avec des environnements numériques et physiques. Ce modèle de fondation combine la compréhension du langage et des images avec des capacités de planification et d’exécution d’actions. L’objectif est de créer un agent capable d’interpréter des stimulus visuels et textuels tout en générant des actions adaptées aux contextes dans lesquels il évolue.

Développé en collaboration avec plusieurs universités, Magma associe une analyse multimodale avancée à un raisonnement spatial et temporel, facilitant son application dans des domaines aussi divers que la navigation dans les interfaces utilisateur et la manipulation robotique.

Un apprentissage basé sur des données hétérogènes

Aperçu des sources de données pour le pré-entraînement • Source : Jianwei Yang et al.

Magma utilise de vastes ensembles de données hétérogènes, qui inclut des images, des vidéos, des interfaces utilisateur et des trajectoires robotiques. Deux techniques, baptisées Set-of-Mark (SoM) et Trace-of-Mark (ToM), permettent d’optimiser la compréhension et l’exécution des tâches. SoM identifie les objets interactifs au sein d’une interface graphique pour anticiper les actions possibles, tandis que ToM suit les mouvements enregistrés dans des vidéos pour améliorer la modélisation des séquences d’actions et la planification des tâches.

Ces approches permettent à Magma de s’adapter à différentes tâches comme la navigation web, l’utilisation d’applications mobiles et la manipulation d’objets physiques avec une précision accrue. Le modèle apprend à reconnaître les relations spatiales entre les objets et à anticiper les séquences d’actions nécessaires à la réalisation d’un objectif donné.

Performances et évaluations

Les performances de Magma ont été évaluées sur plusieurs benchmarks spécialisés. Lors de tests sur des tâches de navigation d’interfaces utilisateur, Magma a démontré une efficacité significative. Sur AITW, il atteint 61,5 %, surpassant ainsi des modèles spécialisés dans ce domaine. Dans les évaluations de manipulation robotique, il affiche également des résultats prometteurs, obtenant un taux de réussite de 52,3 % sur Google Robot et 35,4 % sur Bridge.

Les tests de raisonnement spatial, incluant les benchmarks Blink et SpatialEval, confirment la capacité du modèle à interpréter des configurations complexes et à raisonner sur des éléments en mouvement. Sur le test Spatial Grid, Magma atteint 64,5 % de précision, dépassant d’autres modèles de référence. Cette performance repose sur sa capacité à relier les informations verbales et spatiales afin de prendre des décisions cohérentes dans des contextes dynamiques.

Applications et perspectives

Magma est conçu pour un large éventail d’applications, allant de l’amélioration des assistants numériques à l’automatisation de tâches complexes dans les interfaces logicielles et les environnements physiques. Dans le domaine de la robotique, sa capacité à analyser des scènes, à comprendre le positionnement des objets et à exécuter des actions précises ouvre des perspectives pour des systèmes d’assistance automatisée, des robots industriels et des dispositifs interactifs avancés.

L’intégration de Magma dans des outils interactifs pourrait améliorer l’accessibilité aux technologies numériques et optimiser l’exécution des tâches par les agents intelligents. Il pourrait être employé dans des scénarios variés, tels que l’assistance aux personnes à mobilité réduite, l’automatisation des processus industriels ou encore la gestion avancée des interfaces utilisateur.

Pour en savoir plus :

• Jianwei Yang et al., Magma: A Foundation Model for Multimodal AI Agents, Arxiv, 2025
• Microsoft
• Ars Technica