Voici deux start-up, lancées dans la très dispendieuse création de modèles de fondation. La française a réuni 490 millions d’euros en deux tours depuis sa création, l’allemande 494 millions en deux tours également. Toutes deux ont activement démarché leurs gouvernements, avec succès, pour éviter une règlementation trop intrusive sur leur activité. Là s’arrêtent, ou presque, les similarités entre les deux champions européens de l’intelligence artificielle, Mistral et Aleph Alpha.
Créée en avril 2023, la flamboyante pépite française Mistral AI a déjà accueilli à son capital la fine fleur des VCs américains de l’IA : Andreessen Horowitz (A16Z) et LightSpeed Ventures. Fondée en 2019, la plus discrète start-up allemande génère déjà du chiffre d’affaires ; elle s’appuie sur un incubateur du Bade-Wurtemberg et surtout sur les fleurons de l’industrie allemande : Bosch, SAP, Burda, Schwartz (Lidl)…
Start-up modèles
Portée par la machine marketing de ses investisseurs, Mistral revient de plus en plus souvent dans le buzz de la Silicon Valley. Sa dernière création, Mixtral 8x7B, s’inspire de l’architecture que l’on prête à GPT-4 (lire Qant du 3 juillet) : un « mélange d’experts » où plusieurs modèles sont mis en réseau. Le cadre SMOE (Sparse Mixture of Experts) choisi permet de ne pas mobiliser l’ensemble du réseau neuronal pour le traitement de chaque jeton. Mixtral 8x7B atteint ainsi des performances comparables à celles de modèles à la taille beaucoup plus importante, comme Llama 2 de Meta ou GPT 3.5 d’OpenAI.
En outre, Mistral se présente comme un pionnier des petits modèles de langage : Mistral 7B a largement devancé les modèles de Microsoft (lire Expert ci-dessous) et de Google, qui ne lancera son Gemini Nano que l’an prochain. Or, depuis le succès ce printemps d’Alpaca, un modèle dégradé de Llama qui tournait sur un PC (lire Qant du 21 mars), s’est lancée une course vers la création d’un modèle de langage susceptible d’animer un téléphone mobile (plutôt que le paralyser, comme c’est le cas aujourd’hui).
De son côté, Aleph Alpha développe une série de grands modèles de langage multimodaux, Luminous, avec l’ambition de créer une IA « souveraine » et respectueuse de la diversité linguistique du Vieux Continent. Le principal modèle de la start-up allemande a notamment été entraîné sur des données textuelles en anglais, français, allemand, espagnol et italien. L’entreprise explique avoir pour ambition de développer l’application de l’IA générative dans des secteurs complexes comme la finance, la santé, le droit ou encore la sécurité, avec un accent mis sur la confidentialité des données et l’interopérabilité.
Marche américaine
Très différentes, les deux start-up ont néanmoins réuni leurs efforts cet automne, pour combattre les propositions du Parlement sur l’AI Act, jugées trop sévères pour les modèles de fondation. On a vu le couple franco-allemand se recomposer au Conseil européen pour obtenir un cadre plus favorable. Les détails précis doivent encore être publiés mais il semble que les efforts conjoints des deux start-up aient porté leurs fruits.
Si les deux côtés du Rhin fêtent – à raison – leurs champions respectifs, la marche pour concurrencer les géants américains reste titanesque. Même avec un renfort en venture debt, les fonds levés par Mistral ou Aleph Alpha semblent peser bien peu face aux 11,3 milliards d’OpenAI et à la puissance de groupes comme Google et Microsoft.
En revanche, les start-up européennes se comparent sans mal à la canadienne Cohere (435 M$), à l’israélienne AI21 (326,5 M$) ou à la britannique Stability AI (174 M$). Elles ont conjoint leurs efforts cet automne dans le lobbying sur l’AI Act.
« En France, on n’a pas de pétrole mais on a des idées » scandait le slogan publicitaire en 1977, en plein choc pétrolier. Un demi-siècle plus tard, Mistral AI et Aleph Alpha devront prouver la valeur des leurs.
Pour en savoir plus :
- Mistral AI
- Aleph Alpha
- Noam Shazeer et al.,Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Arxiv 2017
Source archive Kessel : https://qant.kessel.media/posts/pst_19f3bd332203441694586a89630ea1b9
