Un Genie incompris : la prochaine vague de l’IA

La présentation de Genie 3 par Google Deepmind

Le 5 août 2025, Google DeepMind a proposé à quelques de laboratoires de recherche un accès anticipé à Genie 3, un world model (modèle du monde) généraliste capable de produire à partir d’une simple description textuelle des environnements interactifs réalistes.  Le système rend les scènes en 720p à 24 images par seconde ; il permet à l’utilisateur ou à un agent IA de s’y déplacer librement et d’y effectuer des actions qui restent inscrites dans ce « monde », jouable en temps réel. DeepMind a ainsi montré des univers générés où un agent apprend à déplacer des cartons dans un entrepôt ou à skier en évitant des obstacles. 

Un modèle du monde est un système qui ne se contente pas de prédire la prochaine image, mais qui simule un environnement entier.  L’utilisateur lui fournit une description initiale (un prompt) et l’IA génère un espace cohérent dans lequel on peut se déplacer, agir et provoquer des événements, un peu comme dans un jeu vidéo. Contrairement aux générateurs de vidéos linéaires comme Veo3 et Sora, ces environnements réagissent aux actions : si l’on repeint un mur ou que l’on déplace un objet, l’IA mémorise cet état et on le retrouve par la suite.  Cette approche vise à doter les machines d’une forme de compréhension implicite du monde : en apprenant à prédire l’évolution d’un univers simulé, elles acquièrent des notions de physique, de causalité et d’objectifs, préalables à la planification et au raisonnement.

Cette performance repose sur une architecture auto‑régressive : chaque nouvelle image est générée en fonction de l’historique des images précédentes et des actions de l’utilisateur. Contrairement aux techniques qui reconstruisent explicitement la géométrie (NeRFs et Gaussian Splatting), la consistance spatiale est ici une propriété émergente du modèle. Cela permet de modifier le climat ou d’ajouter des objets à la volée via des « événements promptables », sans casser l’illusion. DeepMind a ainsi montré des mondes générés où un agent apprend à déplacer des cartons dans un entrepôt ou à skier en évitant des obstacles.

Genèse turbo

Techniquement, les modèles du monde combinent des architectures de type autoencodeur pour la représentation visuelle, des réseaux récurrents ou Transformers pour la mémoire et le séquençage des actions, et des modules d’interprétation textuelle pour générer ou modifier la scène à la volée. L’engouement pour les modèles du monde s’accompagne de la création de plateformes de simulation ultra‑rapides. Genesis, un projet de recherche porté par un consortium académique et industriel comprenant notamment les universités de Stanford et Carnegie Mellon, a présenté en décembre dernier un moteur de physique universel capable de générer des mondes dynamiques, de générer des trajectoires de caméra, des mouvements de robots ou des animations faciales, et de constituer des bases de données synthétiques pour l’entraînement des modèles. Grâce à une simulation massivement parallélisée sur GPU, Genesis a déclaré atteindre 43 millions d’images par seconde, soit environ 430 000 fois plus rapide que le temps réel, pour certaines tâches spécifiques de manipulation robotique. Les résultats ont été contestés mais cela n’a pas empêché le chercheur principal, Zhou Xian de Carnegie Mellon, de cofonder Genesis AI avec Théophile Gervet, ancien de Mistral en décembre dernier. En juillet, la start-up a réuni 105 millions de dollars (90 M€), notamment auprès de Khosla Ventures, Eric Schmidt et Xavier Niel.

Genie 3 constitue un saut générationnel par rapport à son prédécesseur Genie 2 : le modèle maintient la cohérence de la scène pendant plusieurs minutes, alors que Genie 2 oubliait son environnement au bout de dix secondes et ne pouvait pas fonctionner en temps réel.  DeepMind a déjà commencé à utiliser Genie 3 pour entraîner son agent Sima, qui envoie des actions de navigation au modèle afin d’atteindre des objectifs dans les mondes générés. La firme y voit un laboratoire pour « l’IA incarnée », capable de tester des hypothèses et d’apprendre dans des univers sans risque.

Du pixel au métal

Au‑delà du jeu vidéo, les modèles du monde deviennent des simulateurs pour entraîner des robots, des drones ou des voitures sans mettre de matériel en danger.  L’idée est d’exposer les agents à un nombre quasi illimité de scénarios pour améliorer leur robustesse, puis de transférer ces compétences dans le monde réel.  Le modèle doit donc réduire l’écart sim2real : plus la simulation incorpore une physique précise et une mémoire cohérente, plus l’apprentissage sera transférable.

Le modèle n’est certes pas encore pleinement opérationnel.  Sa durée d’interaction reste limitée à quelques minutes, sa compréhension de la physique est imparfaite (il n’est pas rare de voir des passants marcher à reculons) et son espace d’actions se réduit pour l’instant à la navigation. Genie 3 peine à reproduire fidèlement des lieux réels, rend mal les textes et ne gère pas encore des interactions complexes entre plusieurs agents. Il est cependant facile de voir se dessiner une tendance : Genie 3 n’est pas seul à sortir de sa lampe.

Meta-physique

En juin dernier, Meta a publié V‑Jepa 2 (Video Joint Embedding Predictive Architecture), une nouvelle génération de modèle du monde.  L’architecture est pré‑entraînée sur plus d’un million d’heures de vidéos Internet, puis affinée avec moins de 62 heures de données de trajectoires de robots.  Cette combinaison permet d’obtenir des performances de pointe sur des tâches de compréhension du mouvement et d’anticipation d’actions : en apprenant des lois physiques implicites, le modèle peut planifier en zero‑shot des tâches de pick‑and‑place sur des robots réels. Meta a publié les poids du modèle et plusieurs benchmarks de raisonnement physique sous licence MIT pour accélérer la recherche et rivaliser avec Google.

Cet hiver, Microsoft Research et Xbox Game Studios ont présenté Muse, premier World and Human Action Model (Wham).  Ce modèle génératif a été entraîné sur sept années de données de jeu Bleeding Edge – plus d’un milliard d’images et d’actions dans cette arène de bataille multijoueurs. Muse peut produire à la fois les visuels d’un jeu et les actions du joueur, prédisant comment un personnage réagirait à une commande et affichant l’animation correspondante.  Selon Xbox, la maîtrise de la physique du jeu et des retours du joueur permet de créer un gameplay cohérent et diversifié.  Microsoft a publié les poids du modèle, des exemples de données et une interface de démonstration sur Azure AI Foundry pour permettre aux développeurs de l’explorer.  Xbox voit dans ce Wham un outil pour concevoir de nouvelles mécaniques, ressusciter des jeux du patrimoine ou personnaliser les niveaux, tout en respectant des principes de responsabilité numérique.

Carte du monde

Peu auparavant, à l’occasion du CES 2025, Jensen Huang, directeur général de Nvidia, a présenté Cosmos, une plateforme de world foundation models pour « l’IA physique » : une intelligence artificielle qui perçoit, raisonne, planifie et agit.  Cosmos propose une famille de modèles open source dont les paramètres varient de 4 milliards à 14 milliards. Les modèles sont entraînés sur 20 millions d’heures de vidéos du monde réel (environnements industriels, conduite, activités humaines, etc.). 

La plateforme s’articule avec Omniverse, le système de jumeaux numériques de Nvidia : Cosmos permet de générer des vidéos synthétiques photoréalistes et « contrôlables » à partir de scènes 3D, d’entraîner et de tester des politiques de robots sans recourir à des essais dangereux, et même de simuler des « multivers » pour explorer toutes les évolutions possibles d’une situation. La société espère démocratiser la robotique générale en fournissant des modèles prêts à l’emploi.

Cliché vivant

Enfin, en décembre 2024, la start‑up World Labs, cofondée par la chercheuse de Stanford Fei‑Fei Li et soutenue par 230 millions de dollars d’investissements (Andreessen Horowitz, Intel Capital, etc.), a dévoilé un premier aperçu de sa technologie.  Son système transforme une simple photo en un environnement 3D navigable dans un navigateur web.  Au lieu de générer une vidéo statique, World Labs simule un monde persistant : la scène ne change pas quand on se retourne et l’on peut s’y déplacer en temps réel avec les touches du clavier.  La start‑up insiste sur trois bénéfices : la réalité persistante (une fois le monde généré, il reste stable), le contrôle en temps réel (on peut s’attarder sur un détail ou jeter un œil derrière un mur) et une géométrie correcte qui respecte les règles de la perspective et donne de la profondeur.  Les créateurs peuvent également appliquer des effets de caméra (profondeur de champ, dolly zoom) ou ajouter des animations.  World Labs prévoit de lancer un premier produit commercial dès cette année.

Cette évolution répond à une critique récurrente, formulée notamment par le prix Turing Yann Le Cun, directeur scientifique de Meta.  Selon lui, les grands modèles de langage sont incapables de comprendre le monde physique : ils n’ont pas de mémoire persistante, ne savent pas raisonner ni planifier et se contentent de régurgiter des corrélations textuelles.  Pour atteindre un niveau d’intelligence comparable à celui de l’être humain, il faut des machines capables de se construire une représentation interne, d’imaginer mentalement des actions et de prévoir leurs conséquences.  Cette « intelligence incarnée » pourrait apprendre comme un enfant, en interagissant avec son environnement plutôt qu’en avalant des milliers de livres.  Dans cette perspective, les modèles du monde constituent le chaînon manquant entre les larges modèles de langage et une intelligence artificielle plus générale.  Ils ajoutent à l’IA une intuition physique et une capacité de projection dans l’avenir – deux ingrédients de l’intelligence humaine que l’IA n’avait pas encore atteints.

**Pour en savoir plus : **

• Xiaoxiao Long et al, A Survey: Learning Embodied Intelligence from Physical Simulators and World Models, Arxiv 2025
• Zifan Zeng et al, World Models: The Safety Perspective, IEEE 2024
• David Ha, Jürgen Schmidhuber, World Models, Arxiv 2018