Stability AI, la start-up britannique à l’origine de Stable Diffusion, vient d’annoncer la sortie du premier d’une série de modèles de langage naturel, baptisée Stable LM. Ce premier modèle est disponible sur Github en deux versions de 3 et 7 milliards de paramètres. Des modèles à 15 milliards et 65 milliards de paramètres vont prochainement être proposés. Ce sont donc des “petits” LLM (GPT-3 compte 178 milliards de paramètres et GPT-4, dit-on, quelque mille milliards) qui compensent leur taille par le dataset d’entraînement, qui comprend 1 500 milliards de tokens. Il n’a pas encore été rendu public mais The Pile n’en représente plus que le tiers. The Pile, qui comprend Wikipedia et des sites comme PubMed et StackExchange, avait servi à entraîner les précédents LLM que Stability AI avait lancé en open source en association avec le laboratoire Eleuther AI, comme GPT-J, GPT-NeoX, et la suite Pythia.
Source : Stability.ai
Pour en savoir plus : Tech Crunch
DEMAIN : La rescousse de l’open source, 2 : Databricks présente Dolly 2
Source archive Kessel : https://qant.kessel.media/posts/pst_42cf2f16b99a4e0ea74594034d2066b6
