Simuler le monde réel : une approche unifiée des modèles génératifs multimodaux

Une nouvelle manière de simuler le monde • Qant, M. de R. avec Midjourney

Les modèles génératifs multimodaux représentent une avancée majeure dans la simulation du monde réel, avec des applications potentielles en réalité virtuelle, jeux vidéo, robotique et conduite autonome. Les initiatives de développement de world models (des modèles d’intelligence spatiales) se multiplient depuis l’année dernière, de Niantic – qui vient de céder Pokemon go et ses autres jeux pour se concentrer sur les world models – à World Labs, la start-up notamment fondée par Fei-Fei Li, de l’université Stanford, en passant bien sûr par DeepMind. 

Ces modèles doivent pouvoir comprendre et raisonner sur la structure et le fonctionnement du monde en trois dimensions, ce qui est essentiel pour des applications comme la réalité augmentée, la réalité virtuelle et la robotique. Cependant, la fragmentation des approches actuelles, qui traitent séparément les dimensions 2D, 3D et temporelles, limite la compréhension et la reproductibilité des mécanismes sous-jacents à ces simulations. Dans un article de synthèse, une équipe de chercheurs hongkongais propose une vision synoptique des modèles de génération visuelle, analysant leur progression depuis les images 2D jusqu’à la modélisation dynamique en 4D.