Aller au contenu

Veille tech & IA — analyses Qant Recherche

Article

Une nouvelle législation californienne rallume les polémiques sur les risques que l’IA pose et la nécessité de la réglementer. Avec le prochain Sommet de l’IA en ligne de mire.

Les illustrations de Qant cette semaine rendent hommage à Roy Lichtenstein (1923-1997)

Une nouvelle législation californienne rallume les polémiques sur les risques que l’IA pose et la nécessité de la…
  • Curée. Le conseiller IA-Crypto à la Maison-Blanche, David Sacks, s’est joint à l’un des principaux VCs du monde, Marc Andreessen, pour attaquer violemment un cofondateur d’Anthropic, Jack Clark. Celui-ci a eu l’outrecuidance, dans sa newsletter personnelle, de s’inquiéter de l’évolution de l’IA et d’en appeler à une plus forte réglementation.
  • Conscience. Jack Clark rappelle que les systèmes d’IA actuels, après plusieurs années de croissance effrénée dans la taille et la puissance de calcul, présentent déjà des comportements inattendus (« émergents ») et une forme croissante de conscience de soi et de son environnement (« situational awareness »). Il reprend une opinion de plus en plus répandue :  l’IA n’est pas un simple outil mais un « être étrange » dont la complexité échappe aux concepteurs eux-mêmes, en particulier quand elle commence à contribuer à son propre développement. Il reprend ainsi, par exemple, les réflexions de Mustafa Suleyman, CEO de Microsoft AI, sur les systèmes d’IA qui semblent être conscients, sans l’être vraiment (lire Qant du 28 septembre 2025).
  • Gouvernance. Clark plaide pour une lucidité accrue sur les capacités réelles de l’IA, ainsi qu’un effort collectif d’écoute des inquiétudes sociales (emploi, sécurité, santé mentale). Il appelle à mettre en place des régimes de transparence et à inclure les citoyens dans la définition des politiques à venir. Cette posture vise à anticiper une crise inévitable que seule une gouvernance démocratique et proactive pourrait contenir.
  • Risques. Le First Key Update de l’International AI Safety Report a fait chorus. Il décrit des gains rapides dus au post‑entraînement par renforcement et à un surcroît de calcul à l’inférence, qui permettent aux modèles de « raisonner » en générant des étapes intermédiaires . En un an, l’exactitude sur Humanity’s Last Exam passe de moins de 5 % à 26 %, et sur SWE‑bench Verified, de 41 % à plus de 60 %. Les modèles ont détecté 77 % des failles de sécurité dans un test de l’agence de recherche du Pentagone (la Darpa) et leur capacité offensive augmente d’autant. Même dualité sur le biologique, où les modèles peuvent dépanner des protocoles virologiques mieux que 94 % des experts, concevoir de nouvelles protéines ex nihilo…
  • Craintes. Dans If Anyone Builds It, Everyone Dies, qui vient de paraître, les chercheurs Eliezer Yudkowsky et Nate Soares décrivent des IA agentiques susceptibles de se doter d’objectifs propres et de poursuivre, en se dissimulant, des sous‑buts convergents — acquisition de ressources, dissimulation, auto‑préservation — qui pourraient les mettre en conflit avec l’humanité. Une fois capables d’auto‑amélioration rapide, ces systèmes dépasseraient nos capacités et neutraliseraient toute tentative de les arrêter. Les auteurs appellent à stopper immédiatement tout développement vers une superintelligence tant qu’un alignement fiable reste introuvable.

*« Le projet d’alignement des modèles avance moins vite que leurs capacités » *• Elizer Yudkowsky, interviewé par Ezra Klein (New York Times)

  • EN FILIGRANE : Les lois californiennes. Le gouverneur démocrate de Californie Gavin Newsom a promulgué cette semaine plusieurs lois qui créent le premier cadre américain de réglementation de l’IA et des réseaux sociaux. Elles visent notamment les systèmes d’« IA compagnon », dans une définition qui devrait inclure ChatGPT, avec des obligations de transparence et de protection des mineurs, et les renforcent également pour les réseaux sociaux (L’Europe se prépare également à renforcer la protection des mineurs : lire ci-dessous, Protéger les enfants ou contrôler le web : le dilemme européen). Elles encadrent tout système de décision automatique dans l’entreprise, pour le recrutement notamment, et elles créent des obligations de transparence pour les plateformes en ligne, les hébergeurs de systèmes IA et les fabricants de dispositifs de capture (appareils photo/vidéo vendus en Californie : donc Apple, Samsung et Google), mais aussi les grands développeurs de pointe.
  • À SURVEILLER : La bulle et le pied de nez. Depuis les décrets exécutifs de fin juillet et le contre-sommet américain sur l’IA, l’administration Trump mise explicitement sur l’accélération du développement de l’IA américaine pour en faire un instrument de projection de puissance, et même de domination internationale. Elle freine en sous-main la préparation du quatrième Sommet international, prévu à New Delhi en février prochain, et s’oppose à toute forme de réglementation, nationale ou internationale. La mobilisation de figures respectées de l’IA contre « l’accélérationisme » du régime souligne donc le pied de nez de Gavin Newson à Donald Trump et permet au démocrate d’apparaître comme un gouvernant responsable. Mais le véritable risque pour Trump réside dans l’éclatement de la bulle IA, qui paraît de plus en plus probable. David Sacks, son conseiller IA, estime qu’un tiers de la croissance américaine dérive de l’IA cette année.

Anthropic • OpenAI

  • Claude Skills sort de l’improvisation • Dans une initiative qui pourrait s’avérer aussi lourde de conséquences technique que le lancement il y a un an du protocole MCP, aujourd’hui utilisé dans toute la profession pour l’IA agentique, Anthropic a présenté cette semaine « Skills », un nouveau format de capacités modulaires pour son modèle Claude. Chaque Skill est un dossier contenant un fichier d’instructions (Skill.md), du code utilitaire et des ressources. L’assistant ne charge ces éléments qu’à la demande, selon un principe de progressive disclosure qui réduit la consommation de tokens et les coûts de calcul. L’objectif : remplacer les prompts improvisés par des procédures « versionnables » et gouvernables, adaptées à des usages métier concrets – extraction de données, normalisation de documents, conformité ou reporting. Box, Rakuten, Canva et Notion figurent parmi les premiers utilisateurs, évoquant des gains de productivité significatifs. Face à OpenAI, qui mise sur une approche « plateforme » avec AgentKit et Apps SDK, et à Google, qui industrialise l’orchestration via Gemini et Vertex AI, Anthropic choisit ainsi la voie du lightweight procedural pattern : capturer le savoir procédural dans des dossiers simples, exécutables localement, sans dépendance cloud. Un connecteur Microsoft 365 en préparation pourrait achever de positionner Claude comme un agent productif pleinement intégré aux environnements de travail.
  • Éros, caddies, circuits…• Rude semaine pour OpenAI. Elle vient de sceller un partenariat avec Walmart : clients et membres de Sam’s Club pourront bientôt acheter directement dans ChatGPT via le système « Instant Checkout ».  Le titre Walmart a gagné environ 5 % après l’annonce, car sa présence sur la plateforme émergente de ChatGPT lui ouvre la perspective de reprendre un jour l’avantage sur Amazon.  Comme cela pourrait ne pas suffire à passer de 800 millions d’utilisateurs par semaine à 1 milliard, Sam Altman également indiqué qu’à partir de décembre ChatGPT autorisera des dialogues érotiques à ses utilisateurs adultes, provoquant une tempête dans un marigot puritain. On retiendra surtout la ferme orientation vers la création d’une plateforme généraliste grand public, indépendante de tout fournisseur de matériel : après avoir conclu des accords avec Nvidia et AMD, OpenAI a formalisé celui avec Broadcom, l’équipementier qui a permis à Google de créer ses TPU (rivales des GPU de Nvidia). Broadcom développera et déploiera les puces à partir du second semestre 2026, avec un objectif de 10 GW de capacité d’ici fin 2029, sur une interconnexion Ethernet Broadcom ; les détails financiers ne sont pas précisés.

Source archive Kessel : https://qant.kessel.media/posts/pst_aad372005537452aafcdcab0637abf0f