Le Rhino qui parlait à l’oreille des robots

Les robots humanoïdes sont conçus pour interagir avec les humains dans des environnements variés. Toutefois, leur capacité à réagir immédiatement aux signaux humains reste une difficulté notable. Pour la résoudre, une équipe de chercheurs de l’université Jiao Tong de Shanghai présente Rhino, une architecture d’apprentissage hiérarchique destinée à doter ces robots d’une réactivité sans précédent.

Un cadre unifié pour l’interaction humain-humanoïde-objet

L’approche de Rhino repose sur un modèle à deux niveaux. Un planificateur de haut niveau analyse en temps réel les intentions humaines à partir de signaux comme les mouvements, les images et le langage. Ensuite, un contrôleur de bas niveau orchestre les réactions motrices et la manipulation des objets. Cette architecture permet aux humanoïdes de changer de tâche instantanément, dépassant ainsi les limites des modèles actuels qui traitent chaque interaction de manière séquentielle.

Rhino dispose de capacités d’interaction en temps réel pour diverses tâches

Un apprentissage fondé sur la démonstration humaine

Pour rendre cette interaction fluide, Rhino s’appuie sur un apprentissage par démonstration. Les chercheurs ont collecté des données issues d’interactions humaines où deux personnes manipulent des objets dans différents contextes, comme un restaurant ou un bureau. Ces données sont ensuite utilisées pour enseigner aux humanoïdes des compétences motrices et des comportements réactifs.

L’un des aspects novateurs de cette approche est la capacité à intégrer des données de téléopération, où un humain contrôle directement le robot à l’aide d’un dispositif de réalité virtuelle. Ce type d’apprentissage permet de capturer des mouvements précis, essentiels pour des tâches délicates comme attraper une tasse ou tamponner un document.

Des performances évaluées en conditions réelles

Pour tester Rhino, les chercheurs ont implémenté le système sur un robot Unitree H1 et ont évalué ses performances dans deux scénarios : un robot serveur dans un restaurant et un assistant de bureau. L’expérience a impliqué plus de 20 tâches, allant du service de boissons à la manipulation d’objets comme des assiettes, des tampons encreurs et des lampes de bureau.

Dans le scénario de l’assistant de bureau, Rhino identifiait correctement les demandes humaines telles que le passage d’un livre ou l’allumage d’une lampe avec un taux de précision supérieur à 97 %. Dans celui du serveur de restaurant, le robot devait réagir aux gestes d’un humain pour servir un repas. Lorsqu’un client pointait du doigt une canette, Rhino déterminait l’intention et saisissait l’objet – avec un taux de réussite de 100 %. De même, le robot pouvait reconnaître un geste de lavage et réagir en frottant une éponge sur une assiette.

Des réactions en temps réel

Une des forces majeures de Rhino réside dans sa faible latence. Contrairement aux approches utilisant des modèles de grande envergure comme les LLM (Large Language Models), qui souffrent d’une inertie limitant leur usage en temps réel, Rhino garantit une réactivité quasi instantanée.

Ce résultat est obtenu grâce à l’utilisation de modèles dédiés à chaque tâche : un diffusion model pour générer les mouvements interactifs, et des réseaux ACT (Action Chunking Transformer) pour les actions de manipulation.

Un cadre robuste face aux perturbations humaines

L’un des défis des interactions humain-robot est la gestion des interruptions. Rhino intègre un système de supervision de sécurité qui arrête immédiatement toute action en cas de collision imminente avec un humain. De plus, si une tâche est interrompue, le système permet au robot de revenir à l’état précédent pour reprendre l’exécution dès que possible.

Les tests montrent que l’intégration de données de perturbations humaines permet d’améliorer la résilience du système. Avec 20 % de données d’interruptions dans l’entraînement, le taux de réussite des tâches impactées par des interventions humaines passe de 0 % à 85 %.

Une alternative aux modèles end-to-end

Les chercheurs ont comparé Rhino à des modèles end-to-end, où un seul réseau neuronal prédit à la fois l’intention humaine et l’action du robot. Bien que ces modèles puissent fonctionner sur une seule tâche, leur précision chute lorsque plusieurs compétences sont nécessaires. En testant un modèle end-to-end sur 5 tâches, le taux de réussite s’effondre à 67 %, contre 97 % pour Rhino.

Cette différence souligne l’avantage d’une architecture modulaire, où chaque composant est optimisé pour une fonction spécifique. Rhino constitue une avancée significative vers des humanoïdes capables d’interagir naturellement et efficacement avec les humains en temps réel. 

Pour en savoir plus :

• Jingxiao et al., RHINO: Learning Real-Time Humanoid-Human-Object Interaction from Human Démonstrations, Arxiv, 2025