En avril dernier, le fondateur d’OpenAI Sam Altman avait déclaré publiquement que la start-up ne prévoyait pas d’entraîner le successeur de GPT-4 dans les six mois qui auraient suivi (lire Qant du 17 avril). Précisément à l’échéance, The Information révèle qu’Open AI a cessé de travailler sur un modèle, ou un système de modèles, moins gourmand en ressources de calcul : Arrakis. Il aurait été présenté au public comme “GPT-4 Turbo”, tout comme “GPT 3.5 Turbo” s’appelait, en interne, Sahara.Après de premiers résultats positifs, les tests suivants ont été si négatifs que son entraînement a été interrompu et les efforts reportés sur un autre modèle, baptisé Gobi.
Le choix des noms de désert vient de la sobriété recherchée pour ces modèles, qui se limitent aux seuls calculs nécessaires pour répondre à chaque requête (au lieu de recalculer tout le modèle à chaque inférence). Cette “sparsity” – par opposition aux modèles “denses”, comme Llama2 – se prête bien aux architectures qui mêlent plusieurs systèmes, comme le “mélange d’experts”. Depuis début juillet, la rumeur qui veut que GPT-4 consiste en huit modèles identiques de 220 milliards de paramètres chacun, avec un modèle de “Mélange d’Experts” (MOE pour Mixture of Experts) pour coordonner les résultats, s’est installée dans les consciences sans aucun démenti d’OpenAI (lire Qant du 3 juillet).
Le chercheur Gary Marcus, de New York University, fait l’hypothèse qu’au moment de ses déclarations au printemps, les tests d’Arrakis s’étaient déjà révélés négatifs. La prudence s’impose avant d’engager les centaines de millions de dollars que peut coûter l’entraînement d’un grand modèle de langage, à la rentabilité nécessairement incertaine. Après avoir bénéficié d’une injection de capital de l’ordre de 10 milliards de dollars (lire Qant du 11 janvier), la start-up en a évidemment les moyens, mais son chiffre d’affaires sur douze mois glissants n’est que de 1,3 milliard de dollars, selon The Information. Microsoft est loin de pouvoir se rembourser sur la base de 75 % de la rentabilité brute d’OpenAI, comme le prévoirait l’accord avec la start-up.
De la coupe aux lèvres
Il y a loin du chiffre d’affaires à la rentabilité : d’après le Wall Street Journal, Microsoft perd en moyenne 20 dollars par mois pour chaque utilisateur de GitHub Copilot, son modèle IA de génération de code (lire Qant du 12 octobre) vendu 10 dollars par mois. Réduire les coûts d’inférence est donc une question cruciale et la sparsity reste le chemin le plus prometteur, même s’il peut compromettre la fiabilité des calculs. A la rentrée, le géant de Redmond aurait lancé des recherches pour développer son propre modèle, plus économe. Déjà, il avait présenté en juin un modèle baptisé Orca, dont les performances sont loin de GPT-4, mais aussi les coûts.
Cette situation pourrait rendre OpenAI vulnérable au lancement par Google de la série de modèles Gemini, que l’on dit prévu pour décembre prochain. Google Deepmind rechercherait également la sparsity, mais elle mise principalement sur une forme d’IA hybride : la greffe sur un LLM des techniques d’apprentissage par renforcement qui ont fait le succès d’AlphaGo et AlphaFold. Pour l’instant, cependant, OpenAI et Microsoft ont nourri un tir de barrage efficace, en ouvrant au grand public les capacités multimodales de GPT-4 (lire Qant du 5 mai).
Mais la guerre pour l’épice de l’IA ne fait que commencer.
*Pour en savoir plus : *
Source archive Kessel : https://qant.kessel.media/posts/pst_e6567abe59414d9dadca05fc6725f41c