Un agent au volant, un LLM dans le moteur

L’architecture de MotionLM • Source : Waymo

Les approches conventionnelles de planification des tâches et des mouvements (TAMP) d’un robot reposent sur des interfaces élaborées manuellement, qui relient la planification symbolique des tâches à la génération continue de mouvements. Les LLM, toutefois, sont en train de montrer leur supériorité aussi bien pour l’entraînement des robots que pour la conduite autonome. En un an, Waymo a mené deux études marquantes sur les systèmes de conduite autonome, visant à améliorer la prédiction des mouvements des usagers de la route et à affiner la fiabilité des simulations par le renforcement de l’apprentissage.

Le modèle MotionLM, présenté fin septembre 2023, permet de mieux anticiper les interactions entre véhicules et piétons grâce à une approche de modélisation conjointe des trajectoires. Un an plus tard, Waymo a illustré dans une nouvelle étude l’utilisation de l’apprentissage par renforcement pour ajuster les comportements simulés aux réalités observées, en réduisant ainsi les risques de collisions. 

MotionLM utilise des techniques similaires à celles des modèles de langage pour anticiper les trajectoires de véhicules, cyclistes et piétons. Grâce à une approche séquentielle, il parvient à prédire simultanément les trajectoires de plusieurs acteurs tout en intégrant les interactions entre eux. L’une des particularités de MotionLM est sa capacité à générer des prédictions conjointes des trajectoires, permettant ainsi une meilleure cohérence dans les prévisions. Contrairement aux méthodes classiques, qui traitent chaque trajectoire de manière indépendante avant de les combiner, ce modèle offre une approche unifiée. Cela se traduit par une meilleure anticipation des interactions, par exemple entre plusieurs véhicules ou entre un véhicule et un piéton.

MotionML génère des jetons de mouvement pour prédire les obstacles sur la route • Source : Waymo

Des résultats prometteurs pour la sécurité routière

L’étude montre que le modèle atteint des résultats remarquables dans les scénarios de conduite testés sur le Waymo Open Motion Dataset, notamment une amélioration de la précision des prévisions avec une réduction de 6 % du score mAP joint. Ce score mesure la précision globale des prévisions et MotionLM surpasse les méthodes existantes dans plusieurs domaines clés.

Le modèle utilise des séquences de tokens pour représenter les trajectoires des usagers, une approche inspirée des modèles de langage prédictifs. Contrairement à d’autres méthodes, il n’a pas besoin de variables latentes explicites pour capturer la diversité des trajectoires possibles, ce qui simplifie son entraînement. Cette technologie permet également d’anticiper plus efficacement les réactions des véhicules ou piétons dans des situations complexes, renforçant ainsi la sécurité des systèmes de conduite autonome.

Le renforcement de l’apprentissage au service de la conduite autonome

Un an après la présentation de MotionLM, une nouvelle étude de Waymo est parue fin septembre 2024. Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving se concentre sur l’amélioration des comportements des usagers de la route dans les simulations. Cette étude explore l’utilisation du renforcement de l’apprentissage (RL) pour optimiser les simulations de conduite autonome, en affinant les modèles de prédiction.

Le défi principal pour la conduite autonome est de simuler de manière réaliste les comportements des différents usagers de la route. Ces simulations sont cruciales pour évaluer la performance des véhicules avant leur mise sur le marché. Toutefois, les écarts entre le comportement simulé et la réalité continuent de poser problème. Pour y pallier, l’étude propose une approche basée sur le pré-entraînement, suivie d’un affinement grâce à l’apprentissage par renforcement. Selon les chercheurs de Waymo, cela permet de mieux ajuster les comportements aux attentes humaines, notamment en matière de sécurité.

Des simulations plus proches de la réalité

Grâce à une boucle fermée, le modèle s’adapte en fonction des retours obtenus lors des simulations, ce qui permet de réduire significativement les collisions. Ce système de récompenses, qui pénalise les trajectoires à risque, permet aux simulations de mieux refléter les comportements réels, tout en assurant une sécurité renforcée.

Testée dans le cadre du Waymo Open Sim Agents Challenge, cette approche a prouvé son efficacité en améliorant la fiabilité des simulations de conduite. Les résultats montrent une nette amélioration dans la capacité des systèmes à éviter les collisions par rapport aux méthodes classiques. Ces avancées ouvrent de nouvelles perspectives pour l’évaluation des performances des systèmes de conduite autonome.

L’IA au volant • Qant, M. de R. avec Dall-e

Ghost Autonomy et les défis du financement

Si certaines entreprises, comme Waymo, continuent de progresser, d’autres, comme Ghost Autonomy, sont sorties de route. En novembre dernier, la start-up avait fait parler d’elle en recevant un investissement de 5 millions de dollars d’OpenAI via son Startup Fund, afin de développer des logiciels pour véhicules autonomes (lire Qant du 10 novembre 2023). Ghost Autonomy bénéficiait également des ressources d’Azure, la plateforme cloud de Microsoft. Le tour de 55 millions de dollars a porté le montant total levé à 220 millions. Cependant, dès avril 2024, l’entreprise a cessé ses activités, arguant de doutes quant à la rentabilité à long terme de ses projets. Elle défendait ses avancées techniques dans les systèmes de conduite autonome sur autoroute et en environnement urbain.

En revanche, sur le même secteur, Scale AI a également développé un modèle Transformer pour la conduite autonome. Fondée en 2016, la start-up est connue pour son armée de prestataires humains qui qualifient des images pour l’entraînement des modèles d’IA. Mais sa montée en gamme se confirme. Elle a annoncé en mai dernier avoir levé 1 milliard de dollars (920 M€), valorisant l’entreprise à près de 14 milliards de dollars (12,9 Md€ : lire Qant du 22 mai).

Pour en savoir plus :

• Ari Seff et al., MotionLM: Multi-Agent Motion Forecasting as Language Modeling, Arxiv, 2023
• Zhenghao Peng et al., Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving, Arxiv, 2024
• Techcrunch