Fondée en juin 2022 en Californie par des anciens d’Apple, Stanford et l’ETH de Zürich, Together développe des modèles et des services d’IA générative en open source afin d’aider les organisations à intégrer l’IA dans leurs applications de production. Elle vient de lever 20 millions de dollars lors d’un tour de table de série A mené par Lux Capital, accueillant notamment Scott Banister, un cofondateur de PayPal.
Le premier projet de Together, RedPajama, a présenté des modèles de 3 milliards à 7 milliards de paramètres, y compris un modèle de conversation et un autre nourri par le feedback des utilisateurs, similaires donc dans l’esprit à ChatGPT et InstructGPT, respectivement. Together a aussi présenté un jeu de données de 5 téraoctets permettant d’entraîner d’autres modèles, issus par exemple de Llama et Alpaca. Enfin, l’équipe travaille sur GPT-JT, un dérivé du modèle génératif de texte en open source GPT-J-6B, et sur OpenChatKit, une tentative de créer un équivalent de ChatGPT.
Source : Together
Pour en savoir plus : Tech Crunch
Source archive Kessel : https://qant.kessel.media/posts/pst_05f2558ce3bd49dfae3b2f557bfe882f
