Hugging Face, Nvidia et la plateforme de services cloud ServiceNow viennent d’annoncer le lancement de StarCoder 2. Entraîné avec dix fois plus de données que son prédécesseur StarCoder (67,5 téraoctets contre 6,4), il promet une amélioration significative de la performance. Il a été entraîné uniquement sur des données sous licence de Software Heritage. Cela permet d’éviter les problèmes de droits d’auteur tout en offrant une transparence totale sur les données d’entraînement et les méthodes utilisées.
La première génération de cette famille de modèles open source avait été lancée en mai dernier, un mois après Amazon CodeWhisperer, dans la tentative de créer une alternative au principal générateur de code par IA, GitHub Copilot de Microsoft. Google avait ouvert le bal dès le mois de mars, en investissant dans Replit, puis OpenAI puis Meta l’avaient fermé à l’été, avec Code Interpreter et Code LLama, respectivement (lire Qant du 31 mars, 17 avril, et du 10 juillet 2023).
Tous ces modèles sont conçus pour faciliter l’écriture de code informatique, en en générant à partir d’invites en langage naturel ou en complétant le code que l’on commence à écrire. L’an dernier, une étude de Microsoft Research sur la première version de Github Copilot, fondé sur Codex d’OpenAI, a montré une augmentation de 55,8 % de la vitesse de programmation, dans un test contrôlé.
StarCoder à l’assaut
StarCoder 2 se décline en trois variantes, adaptées aux GPU de Nvidia : un modèle de 3 milliards de paramètres développé par ServiceNow, un de 7 milliards par Hugging Face, et enfin un modèle de 15 milliards de paramètres, par Nvidia.
L’arrivée de l’électronicien représente la principale nouveauté, alors que Microsoft vient de présenter GitHub Copilot Enterprise, une version avancée de son assistant de codage (lire Qant du 29 février) et Meta, le mois dernier, Code Llama 70B, doté de 70 milliards de paramètres.
Hugging Face, ServiceNow et Nvidia voient dans StarCoder l’occasion de construire des services payants sur la base de ces modèles open source. ServiceNow a déjà développé Now LLM, un produit de génération de code spécifiquement adapté à ses workflows, tandis que Hugging Face et Nvidia proposent des versions hébergées de leurs modèles StarCoder 2.
Mais pour Nvidia, c’est aussi l’occasion de proposer un premier modèle optimisé pour ses GPU, alors que l’entreprise a doublé rythme de lancement de nouvelles puces, devenu désormais annuel. Alors que son emprise sur le marché lui donne des moyens quasiment illimités (lire Qant du 22 février), Starcoder pourra donc devenir une vitrine pour ses puces, tout en resserrant ses liens avec la communauté des développeurs.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_0814ccced12e4d26856d1b25affb9b10
