Un agent au volant, un LLM dans le moteur

L’IA au volant • Qant, M. de R. avec Dall-e

Quoiqu’on en pense, ChatGPT ne génère pas des textes. Les modèles de fondation sous-jacents, comme GPT-4o, génèrent des tokens (jetons), qui peuvent correspondre à des mots, des pixels, des sons, et mille autres choses : notamment, des instructions pour des robots. La filiale de robotaxis d’Alphabet, Waymo, a ainsi créé un LLM, MotionML, rendu ublic l’an dernier. Il utilise l’architecture Transformer pour prédire le comportement des agents autonomes sur la route : voitures, piétons… Une nouvelle étude de Waymo montre comment utiliser également l’apprentissage par renforcement – le point fort de Google Deepmind – pour affiner la modélisation du comportement de ces agents, causes d’accidents.

MotionML génère des jetons de mouvement pour prédire les obstacles sur la route • Source : Waymo

Le lancement en 2020 par Tesla du mode FSD (“full self-driving”, devenu “FSD supervised” après une décision de justice) lui a permis d’accumuler une grande masse de données d’entraînement. Mais l’avance de Google dans les modèles de langage (LLM) appliqués à la planification des tâches et des mouvements (TAMP) d’un robot est considérable : avec Palm et RT-2, il était possible l’an dernier de donner à un robot des ordres en langage naturel (lire Qant du 9 mars 2023).

Ses concurrents semblent encore loin. OpenAI avait investi dans une start-up, Ghost Locomotion, pour qu’elle se serve de ses modèles dans ce but. Mais celle-ci a déposé le bilan en avril, malgré les 220 millions qu’elle a levés. Quant à Tesla, malgré ses océans de données, elle dépend probablement de l’élaboration d’un modèle satisfaisant par xAI, qu’elle soutient fortement (lire Qant du 10 septembre). La semaine dernière, Elon Musk a promis qu’elle déploierait un FSD réellement autonome l’an prochain.

Mais, bon, Elon Musk.