Meta AI vient de présenter Sparsh, un encodeur conçu pour la perception tactile des robots, en réponse aux limitations des capteurs actuels basés sur la vision. Sparsh, dont le nom signifie « toucher » en sanskrit, veut marquer un changement de paradigme dans le domaine de la robotique tactile en offrant une approche universelle adaptable à une large gamme de capteurs, comme Digit et GelSight. Les modèles traditionnels de capteurs tactiles sont souvent adaptés à des tâches ou à des dispositifs spécifiques, ce qui restreint leur usage à grande échelle. Sparsh est une IA multimodale qui utilise l’apprentissage auto-supervisé (self-supervised learning, SSL), une technique qui lui permet de s’entraîner sans données étiquetées spécifiques, ce qui rend l’entraînement moins coûteux en temps et en ressources.
Sparsh Sparsh, qui a été développé en partenariat avec l’université de Washington et l’université Carnegie Mellon, est basé sur deux architectures SSL, Dino et Jepa, adaptées pour créer des représentations tactiles généralisables. Avec plus de 460 000 images tactiles non étiquetées, Sparsh propose une solution qui permet aux robots de traiter des informations tactiles de manière plus flexible et efficace. La performance de Sparsh est évaluée avec TacBench, un ensemble de tests comprenant des tâches centrées sur le toucher comme la détection de glissement, la reconnaissance de textiles, et la manipulation d’objets. Les premiers résultats montrent que Sparsh surpasse les modèles traditionnels avec une amélioration de performance de 95 % en moyenne, tout en nécessitant jusqu’à 50 % de données étiquetées en moins.
Du doigt à la main
Outre Sparsh, Meta a également annoncé deux autres innovations dans le domaine tactile : Digit 360 et Digit Plexus, développés en partenariat avec les sociétés GelSight aux États-Unis et Wonik Robotics en Corée du Sud.
Digit 360 • Source : Meta
Digit 360 est un capteur en forme de doigt qui intègre plus de 18 fonctionnalités de détection et 8 millions de taxels (unités de détection tactile), offrant une sensibilité multimodale proche du toucher humain. Ce capteur, qui comprend une puce d’IA embarquée, peut percevoir des changements dans son environnement en détectant des déformations sur toute la surface de son « bout de doigt », permettant des interactions plus nuancées avec les objets. La conception de Digit 360 permet un traitement local des informations tactiles, réduisant la dépendance aux serveurs externes pour des réponses plus rapides, comparables aux réflexes dans les organismes biologiques. Cette technologie est particulièrement pertinente pour les tâches nécessitant une manipulation précise et des réponses rapides, renforçant les capacités des robots dans des domaines variés.
Digit Plexus, de son côté, est une plateforme matérielle et logicielle qui permet d’intégrer plusieurs capteurs tactiles dans une même main robotique. En regroupant les données tactiles dans un seul flux d’information, Digit Plexus simplifie le développement d’applications robotiques complexes.
Analyser l’interaction homme-robot
Pour évaluer et promouvoir ces technologies, Meta a également lancé Partnr, un benchmark dédié à l’interaction homme-robot. Partnr repose sur Habitat, un environnement simulé créé par Meta. Il comprend 100 000 tâches en langage naturel dans des contextes domestiques, avec plus de 5 800 objets distincts. Ce benchmark est conçu pour mesurer comment les modèles d’IA, notamment de langage et de vision, aident les robots à exécuter des tâches de manière collaborative avec des humains.
Par exemple, dans les tests de Partnr, Sparsh montre une aptitude supérieure à identifier les niveaux de force et les propriétés de glissement, augmentant la précision dans des tâches variées comme la manipulation de textiles et la détection de glissement. Renforcer les compétences tactiles des robots est bien sûr essentiel pour manipuler des objets délicats en appliquant la bonne pression.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_2b05000ae0274e04b9297b125ed6a853
