Baisser le coût du feedback humain pour entraîner les robots

Il n’y aurait pas eu ChatGPT sans le RLHF (Reinforcement Learning with Human Feedback), la possibilité d’optimiser un modèle directement. Dans cette méthode d’entraînement, une équipe humaine note les textes produits et s’en sert pour former un deuxième modèle, parfois avec un jeu de données supplémentaire, qui porte les valeurs recherchées. Ce reward model récompense le premier dans un apprentissage par renforcement. C’est ainsi que l’on a obtenu une forte réduction, sinon une disparition, des hallucinations et de la génération de propos ou d’images répréhensibles dans les modèles d’OpenAI et d’Anthropic, notamment. Mais le RLHF peut aussi s’appliquer à des robots. 

Pour être précis, les méthodes de RLHF ont été utilisées jusqu’à présent pour guider l’apprentissage de robots virtuels : des agents incarnés dans une simulation. Plus généralement, des êtres humains peuvent guider l’exploration d’un nouveau terrain par un robot, au prix d’un feedback constant, synchronisé et de haute qualité, particulièrement dispendieux. Une étude récente menée par des chercheurs du MIT et de l’université du Washington propose une méthode baptisée Human Guided Exploration (Huge), qui permet au robot de se satisfaire de réactions d’êtres humains sans expertise particulière, asynchrones et même sporadiques. Et mieux encore, d’incarner ce paradigme dans un robot du monde réel. 

Pour cela, Huge sépare deux tâches aujourd’hui réunies dans l’apprentissage par renforcement. D’une part, la direction de l’exploration, pour ne pas “surexplorer” le nouvel environnement, qui peut être confiée à des humains non qualifiés. De l’autre, l’exploitation des données d’exploration pour en tirer des stratégies optimales, qui n’a pas besoin de renforcement : un apprentissage autosupervisé peut suffire. 

Les déclinaisons expérimentales ont montré que Huge dépasse les méthodes utilisées jusqu’à présent pour atteindre un but avec un horizon long, comme dans les 4 premières tâches de l’illustration ci-dessus. Pour la direction humaine, 109 annotateurs ont été recrutés dans 13 pays, dont les États-Unis et le Canada, l’Inde et la Chine, la Pologne et l’Espagne… A cette diversité géographique s’ajoutaient les différences d’âge et d’éducation. La méthode a su gérer ce crowdsourcing. Elle s’apparente en cela aux IA de Google, notamment, qui se servent des Captcha pour recruter des annotateurs involontaires et à celles du reste du marché, notamment Human Protocol (lire Qant du 23 juin).

Surtout, Huge a prouvé sa capacité à apprendre dans le monde réel, logé dans une plate-forme robotique, directement à partir de stimulus visuels. Logé dans un Locobot, un robot mobile autonome open source, Huge a appris à disposer des objets et créer des dessins : 

Paradoxalement, Huge consiste donc à dégrader le RLHF pour en diminuer le coût. Mais au moment où des LLM comme GPT-4 commencent à être utilisés pour permettre à une voiture autonome d’analyser son environnement (lire Qant du 10 novembre), des méthodes comme Huge pourraient prendre toute leur importance. On peut en effet s’attendre à une rapide multiplication des modèles de fondation appliqués à la robotique et entraînés en ce sens. 

Pour en savoir plus :

• MIT
• Marcel Torne et al., Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback, Arxiv, 2023