Alpaca, Dolly, Koala, GPT4All, Vicuna… Les modèles de langage naturel (LLM) ouverts sont de plus en plus nombreux. Ces modèles ont tous bénéficié de la technique à la base du succès de ChatGPT : l’apprentissage par renforcement avec retour d’information humain RLHF (Reinforcement learning with human feedback). Mais ils souffrent du même péché originel : leur entraînement avec un dataset comprenant des données générées par ChatGPT, qui interdit leur réutilisation à des fins commerciales. Databricks, la start-up californienne qui avait lancé Dolly en open source, vient de résoudre le problème.
Dolly 2.0, un LLM de 12 milliards de paramètres de la famille Pythia créée par Eleuther AI, a été entraîné sur un dataset créé pour l’occasion par les 5 000 employés de Databricks. Constitué depuis début mars, Databricks-dolly-15k contient déjà 15 000 paires d’invites/réponses (prompt/completion) spécifiquement conçues pour le RLHF. Tout comme le modèle lui-même, le code d’entraînement et les poids, le dataset est disponible sur Hugging Face et chacun peut le modifier à sa guise. Mais surtout, il peut être utilisé commercialement.
Source : Databricks
Pour en savoir plus : Hugging Face, L’Usine Nouvelle
A LIRE DÈS CE SOIR DANS QANT EXPERT DU 22 AU 28 AVRIL : Comment le RLHF donne une nouvelle valeur aux données. S’abonner.
Source archive Kessel : https://qant.kessel.media/posts/pst_aca9c6b0851f4675abbd0dd10bab0157
