Aller au contenu

Veille tech & IA — analyses Qant Recherche

Article

Un petit modèle malin

Le TRM de Samsung, qui vient d’avoir les honneurs de la revue Nature, pourra trouver sa place dans de futures architectures hybrides, plus parcimonieuses que les grands LLM. Mais il ne mérite pas l’enthousiasme en train de gonfler en France.

  • Le modèle nouveau • Avec un réseau neuronal de seulement 2 couches et 7 millions de paramètres, le Tiny Recursive Model (TRM) de Samsung dépasse plusieurs LLM vedettes (DeepSeek‑R1, o3‑mini, Gemini 2.5 Pro) dans certains tests, notamment ARC‑AGI‑1 et 2 de François Chollet, qui évaluent l’intelligence artificielle à travers ses capacités de raisonnement abstrait. L’article de recherche de sa créatrice, la canadienne d’Alexia Jolicoeur‑Martineau, a été publié jeudi par Nature et commence à faire grand bruit.

  • Oui, mais… • Le périmètre testé reste structuré (grilles 9×9 ou 30×30, jeux ARC‑AGI). La capacité du TRM d’effectuer des tâches ouvertes (langage, multimodalité riche) n’est pas démontrée et la montée en complexité (dans des domaines moins « propres » que le sudoku) reste une grande inconnue.

  • À quoi ça peut servir • Ce réseau minuscule et itératif tient dans la mémoire et la puissance de calcul d’un appareil grand public, comme un smartphone. Samsung pousse justement une stratégie « Galaxy AI » qui vise plus de  400 millions d’appareils fin 2025. Le groupe déploie également une couche conversationnelle « Vision AI Companion » sur ses téléviseurs. Le TRM rend crédible l’IA sur l’appareil (on-edge), qui réduirait la latence, permettrait un usage hors‑ligne et protégerait la confidentialité. Cela supposerait cependant un dialogue avec un LLM, dans le cloud ou également sur l’appareil, dans une architecture hybride.
  • Comment ça marche • Le TRM s’oppose aux « chaîne de pensée » des grands modèles de langage (LLM) et à leurs besoins de calcul massifs, en préférant une dynamique d’itérations internes sur la même réponse. Il ne génère pas une réponse token par token mais part d’une proposition initiale et l’améliore récursivement en mettant à jour deux états – la réponse courante (y) et un « état latent de raisonnement » (z) – jusqu’à 16 itérations d’auto‑correction. Apparus dans les années 1990, ces mécanismes de raffinement itératif ont resurgi dans les modèles de diffusion (pour les images et les vidéos) et dans AlphaFold de Google Deepmind (avec son “recycling”). Le TRM d’Alexia Jolicoeur-Martineau incarne un retour aux principes d’itération à point fixe et d’auto-correction, réinterprétés sous l’angle de l’efficacité paramétrique.
  • Hyperbole • En France, l’entretien d’Alexia Jolicoeur‑Martineau au Grand Continent a suscité un grand intérêt : le propos fait écho aux débats européens sur la sobriété computationnelle et la souveraineté technologique. « Le TRM dispose de 10 000 fois moins de paramètres qu’un LLM classique et est 1 000  fois plus rapide », avance‑t‑elle, ajoutant que l’entraînement « coûte moins de 500 $ » et qu’à la publication, la capitalisation de Samsung aurait bondi d’environ 10 % (~60 Mds $). Peut-être n’était-ce pas le seul facteur.
  • EN FILIGRANE : Des alternatives aux LLM • D’autres alternatives aux LLM sont apparues ces dernières années, notamment les state space models (Mamba/Mamba‑2) et les architectures récurrentes modernes, RetNet (Retentive Network) et RWKV (Receptance Weighted Key Value), qui s’entraînent en parallèle comme un Transformer, mais qui appliquent des mécanismes récursifs ou récurrents pour accélérer l’inférence et réduire le coût de calcul.
  • À SURVEILLER : Les architectures hybrides d’IA • Plusieurs laboratoires ont déjà implémenté avec succès des architectures hybrides combinant Transformers et Mamba, notamment Nvidia, dont le Nemotron-H remplace la majorité des couches d’attention par des blocs Mamba-2, mais aussi tout récemment IBM, avec Granite 4.0 et plus anciennement l’israélien AI21 Labs (avec Jamba). Une architecture qui inclurait TRM pour les tâches logiques et des Transformers pour l’attention fine, pourrait aussi exploiter Mamba pour la rétention long terme.

Anthropic • Cognizant • Yann Le Cun • Fei Fei Li • Gema • OpenAI • World Labs

  • Les falaises de Marble • World Labs, fondée en 2024 par la chercheuse Fei-Fei Li, vient de lancer Marble, son premier « world model » (modèle de monde), après avoir levé 230 millions de dollars sur une valorisation dépassant le milliard. La start-up propose un système multimodal capable de générer des environnements 3D persistants et téléchargeables à partir de texte, d’images, de vidéos, de panoramas 360° ou de plans 3D, en s’appuyant sur la projection gaussienne (gaussian splatting) et les champs de radiance neuronaux (NeRF) . Marble exporte des mondes en splats gaussiens, maillages GLB ou vidéo, compatibles avec des moteurs et logiciels 3D comme Unity, Unreal, Blender ou Houdini. Les premiers cas d’usage couvrent les jeux vidéo, les effets visuels (VFX), la réalité virtuelle, l’architecture et la simulation robotique, avec une réduction rapportée de plus de 90 % du temps de création de scènes d’entraînement. Les environnements persistants de Marble n’ont aujourd’hui pas de rival : Genie 2 de Google Deepmind reste à l’état de préversion de recherche ; Decart et Odyssey ne sont que des démos imparfaites ; la future start-up de Yann Le Cun reste à l’état de rumeur.
  • L’Allemagne contre OpenAI • Accueillant la demande d’une société d’auteurs, la Gema, tribunal régional de Munich a jugé mardi que les modèles linguistiques GPT-4 et GPT-4o d’OpenAI avaient mémorisé et reproduit des textes de neuf chansons d’auteurs allemands sans leur autorisation, ce qui constitue une reproduction et une communication au public non licite au regard du droit d’auteur allemand et européen. Le tribunal a notamment écarté l’application de l’exception « text-and-data-mining » au motif que la mémorisation dépasse une simple analyse automatisée de données. La responsabilité a été attribuée à OpenAI, non aux utilisateurs des prompts, car l’entreprise définissait l’architecture, les données d’entraînement et l’exploitation du système. Une injonction, un droit à l’information et une obligation de réparation ont été ordonnés ; le montant des dommages-intérêts n’a pas été rendu public. OpenAI a annoncé son intention de faire appel. **Lire l’analyse **d’Electron Libre.
  • Claude sur tous les fronts •  Anthropic annonce l’ouverture de nouveaux bureaux à Paris et Munich, qui rejoignent ses sites de Londres, Dublin et Zurich afin d’amplifier ses activités de recherche, d’ingénierie, de ventes et d’opérations en Europe, auprès notamment de clients comme L’Oréal, BMW et SAP. Déjà présente chez plus de 300 000 entreprises, elle vient de signer un accord avec le cabinet de services informatiques Cognizant, qui déploiera le modèle Claude auprès de ses 350 000 employés et le proposera à ses clients. Anthropic engage par ailleurs un plan d’investissement de 50 milliards de dollars pour construire des centres de données au Texas et à New York et révèle avoir déjoué une campagne d’espionnage dirigée par un groupe étatique chinois. Celui-ci utilisait son outil Claude Code pour mener automatiquement (à ~80-90 %) les phases de reconnaissance, exploitation, exfiltration auprès d’une trentaine de cibles – Anthropic a bloqué l’accès, notifié les victimes et alerté les autorités.
  • Les multiples personnalités de GPT-5.1 • La nouvelle série de modèles d’OpenAI est tout, sauf une rupture technique. GPT-5.1 mise sur l’amélioration du style conversationnel, de la personnalisation et du pilotage du raisonnement, avec un raisonnement adaptatif qui réduit fortement le « temps de réflexion » et la consommation de jetons sur les tâches simples tout en allongeant l’analyse sur les demandes complexes, et qui étend le cache de prompts jusqu’à 24 heures pour les usages intensifs.  Le modèle propose huit profils de personnalité et des contrôles fins de ton, censés corriger l’image jugée trop froide de GPT-5 tout en conservant ses garde-fous contre la flatterie automatique et les problèmes de santé mentale. Dans une nouvelle ouverture vers des fonctionnalités collaboratives et sociales, après Sora 2, OpenAI vient également de lancer un pilote de chat de groupe. Les utilisateurs dans quatre pays (le Japon, la Nouvelle-Zélande, la Corée du Sud et Taïwan) peuvent désormais inviter jusqu’à 20 personnes à discuter dans le même fil, l’IA étant intégrée pour participer en tant que membre du groupe.  L’IA prend en charge la génération d’images, les fichiers téléversés, la dictée, la recherche – et seules ses réponses comptent dans les quotas d’usage. 

Source archive Kessel : https://qant.kessel.media/posts/pst_f255eb99f92f4da8979482d3a20bd38e