Aux États-Unis, le cabinet CB Insights a recensé plus de 90 sociétés dans le secteur des LLMOps, comme en témoigne la cartographie ci-dessus, qui recense douze segments du marché, des 21 créateurs de modèles de fondation aux beaucoup plus rares spécialistes de la sécurité (MLSec) et de l’optimisation du hardware. Après avoir interviewé de nombreux clients des start-ups d’IA générative, recoupant ses informations avec les données des start-ups elles-mêmes, le cabinet n’offre pas de chiffres dans l’agrégat mais il note que les budgets alloués par les entreprises aux grands modèles de langage commencent souvent à atteindre les millions de dollars.
Le marché des infrastructures LLM cherche sa structure
Les grands modèles de langage existent depuis déjà plusieurs années, mais leur maturité n’est devenue claire qu’avec le succès grand public de ChatGPT. Sans surprise, OpenAI écrase pour le moment la concurrence, d’Anthropic à Mosaic ML de Databricks, en passant par Cohere. Le cabinet va jusqu’à affirmer qu’il n’y a aujourd’hui “pas de vainqueur clair dans le secteur des modèles de fondation”: aucun modèle de fondation ne fait aujourd’hui l’unanimité du développeur à l’acheteur. À l’heure actuelle, chaque entreprise développant un cas d’usage de la GenAI va décider quel modèle correspond le mieux à ses besoins, selon ses caractéristiques. Pour les développeurs de LLM, le défi est donc de devenir le modèle de référence suivant plusieurs indicateurs de performance :
- Le prix et le déploiement
- La confidentialité et l’éthique
- La technologie de traitement automatique du langage naturel (NLP)
- La vitesse et la précision
- Le nombre de jetons alloués
Aujourd’hui les clients sont contraints à faire des arbitrages, privilégiant qui OpenAI pour son intégration à la plateforme Azure, qui Anthropic pour ses garanties de sécurité, et ainsi de suite.
Le fine-tuning et la personnalisation des LLM, suivis maintenant du développement d’applications, expliquent l’attrait grandissant pour les LLM open source, comme en témoigne l’acquisition de Mosaic ML par Databricks en juin dernier pour 1,3 milliard de dollars (lire Qant du 27 juin ). Autre conséquence, plus forte encore, l’apparition d’un marché pour les frameworks de développement. Dans ce secteur, Hugging Face s’impose par les fonds levés, mais de nombreuses start-ups se développent, comme Deepset, Fixie ou encore l’omniprésente LangChain.
Le deuxième maillon d’une longue chaîne : les LLMOps.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_51a64ea2699443a9accd1524845c1e9c
