« Notre vision à long terme est de construire une intelligence générale, de la mettre en open source de manière responsable et de la rendre largement disponible pour que tout le monde puisse en bénéficier » a expliqué Mark Zuckerberg vendredi, dans un post Instagram. Il admet ainsi, sans tambour ni trompette, que Meta a remisé le métavers pour la mission que s’est donnée OpenAI : créer un système autonome capable de dépasser les êtres humains dans la plupart des tâches ayant un intérêt économique.
Et le patron de Meta de décrire son plan de marche. Il compte investir plusieurs milliards de dollars dans les processeurs IA, en se procurant, d’ici à fin 2024, 350 000 cartes graphiques H100 de Nvidia et d’autres puces pour l’équivalent de 250 000 H100 supplémentaires. Pour comparaison, certaines indiscrétions indiquent qu’OpenAI utilise 50 000 GPU de Nvidia pour l’entraînement de GPT-5. Le plus grand système d’entraînement connu jusqu’à présent est en construction chez Amazon, avec 100 000 puces Trainium 2.
Au sein du groupe, Fair, le laboratoire dirigé par le français Yann Le Cun, fusionnera avec l’équipe qui intègre des produits d’IA générative dans Facebook, Instagram, Whatsapp et les autres applications du groupe. Le futur modèle Llama 3, en cours d’entraînement, devrait ainsi trouver à se déployer naturellement dans ses réseaux sociaux.
Mark Zuckerberg a réaffirmé sa volonté que Meta partage en open source ses modèles mais, sur la future AGI, il se fait plus prudent auprès du média américain The Verge : il convient de s’assurer au préalable « que cela fasse sens et soit la chose la plus sûre et responsable à faire« . Les risques de l’open source, qui pourrait mettre entre de mauvaises mains des modèles avancés et dangereux (lire Qant du 20 novembre 2023), semblent faire leur chemin.
Une usine pour OpenAI
Au forum de Davos, Sam Altman a estimé pour sa part qu’on devrait atteindre l’intelligence artificielle générale « dans un avenir raisonnablement proche« .
Or, GPT-5 ne semble plus être très loin. Depuis une dizaine de jours, Sam Altman multiplie les allusions à sa sortie prochaine, après avoir un temps annoncé ne pas vouloir s’y atteler (lire Qant du 17 avril 2023). La primeur est revenue au podcast Unconfuse me de Bill Gates.
Déjà, au printemps dernier, les chercheurs de Microsoft Research avaient cru déceler dans GPT-4 les premières “étincelles d’intelligence artificielle générale”. GPT-5 allumera-t-il le feu de l’AGI ?
Fin novembre 2023, la crise de gouvernance d’Open AI s’est enclenchée quand plusieurs chercheurs ont envoyé une lettre au conseil d’administration mentionnant le projet Q-Star, perçu comme une percée potentielle vers l’AGI, et que Sam Altman aurait omis de mentionner. A l’époque, Q-Star était décrit comme n’étant qu’à un stade préliminaire, résolvant des problèmes mathématiques de niveau primaire. Deux mois plus tard, Q-Star n’a pas encore refait parler de lui.
Comme Mark Zuckerberg, le CEO d’OpenAI compte mettre les moyens pour atteindre l’AGI, pour laquelle il prévoyait début 2023 que 100 milliards de dollars seraient nécessaires. Il cherche à présent à créer des usines de semi-conducteurs pour atténuer la pénurie de puces d’IA. Selon Bloomberg, il est pour cela en discussion avec plusieurs investisseurs, dont SoftBank et G42. Son ouverture à la Chine et aux pays du Golfe dans ces négociations serait déjà en train de faire grincer des dents.
Une simple question de données
Meta possède un grand avantage sur OpenAI: l’accès gratuit aux données que produisent, chaque jour, ses trois milliards d’utilisateurs. Un avantage dont disposent aussi X, dont le modèle Grok n’a pas séduit grand monde jusqu’à présent (lire Qant du 6 novembre 2023) mais aussi et surtout Google.
Google n’est en effet pas en reste dans la course à l’AGI. Demis Hassabis, qui dirige Google Deepmind, prévoyait cet été dans une interview à The Verge qu’elle serait sans doute disponible dès la prochaine décennie. Depuis, Google Deepmind a présenté une série de modèles dont le plus puissant, Gemini Ultra, veut rivaliser avec GPT-4 (lire Qant du 7 décembre). Et surtout, elle continue de perfectionner ses “superintelligences”, des modèles spécialisés qui dépassent les capacités humaines dans la recherche scientifique, ou s’en approchent : tout récemment AlphaGeometry, mais aussi Gnome pour la chimie, Alphafold pour la biologie… (lire Qant du 19 janvier et du 1er décembre 2023). AlphaCode 2, basé sur Gemini Ultra, serait meilleur programmeur que 85% des codeurs humains.
En novembre dernier, des chercheurs de Google DeepMind ont proposé un cadre pour classifier les capacités et comportements des modèles d’AGI. Dans leur vision (cf. tableau ci-dessus et Qant du 14 novembre 2023 et Expert du 21 novembre 2023), l’AGI existe déjà, mais à des niveaux de compétences assez réduits.
Avec Llama 3, Gemini Ultra et GPT-5, elle devrait bientôt cocher plus de cases.
*Pour en savoir plus : *
- M. Ringel Morris et al., Levels of AGI: Operationalizing Progress on the Path to AGI, Arxiv, 2023
- Sébastien Bubeck et al., Sparks of General artificial intelligence, Arxiv 2023
- Mark Zuckerberg
- Bill Gates
- Bloomberg
- The Verge
Source archive Kessel : https://qant.kessel.media/posts/pst_eedbd38653e4447cb808827163338e89
