Quand la RAG la joue solo

Les techniques de Génération Augmentée par la Recherche (Retrieval-Augmented Generation, RAG) ont commencé à gagner en importance dans le domaine de l’intelligence artificielle et du traitement du langage naturel autour des années 2020. Historiquement, les modèles de langage, avant l’avènement des RAG, se basaient principalement sur des jeux de données fixes, acquis pendant leur phase d’entraînement. Bien que performants, ces modèles étaient souvent limités par l’étendue et l’actualité des informations apprises durant cette période. L’introduction des RAG a marqué une évolution significative : en combinant la recherche d’informations externes en temps réel avec la génération de langue, cette approche a permis aux modèles de langage de devenir dynamiquement informés, améliorant leur précision et leur pertinence.

L’importance des techniques RAG dans le développement des modèles de langage de grande taille (LLMs) ne peut être sous-estimée. Elles ont révolutionné la manière dont les modèles comprennent et interagissent avec le monde en les rendant capables de puiser dans une richesse d’informations à jour, allant au-delà de leur formation initiale. Cette capacité à intégrer des connaissances en temps réel a non seulement amélioré l’exactitude des réponses fournies, mais a également rendu les modèles plus adaptatifs et réactifs face aux changements rapides et aux nouvelles informations. Ainsi, avec les RAG, les modèles de langage sont devenus plus qu’un simple reflet des données sur lesquelles ils ont été entraînés ; ils sont devenus des outils d’apprentissage et de découverte continus, capables de s’adapter et de croître avec les connaissances humaines en expansion.

Dans une avancée potentiellement significative, une équipe de chercheurs, principalement issus de l’université du Washington à Seattle, a introduit un nouveau cadre nommé « Self-Reflective Retrieval-Augmented Generation » (Self-RAG). Il permet de former un LLM à apprendre quand récupérer des passages et à autocritiquer son propre processus, ce qui le rend plus polyvalent, factuel et fiable.

Le temps de récupérer

La technique de RAG combine donc les modèles basés sur la récupération d’informations et les modèles génératifs pour améliorer la qualité et la pertinence du texte généré. Les modèles de récupération sont conçus pour extraire des informations pertinentes d’un ensemble de documents ou d’une base de connaissances, en utilisant des techniques telles que la recherche d’informations ou la recherche sémantique. Ces modèles excellent dans la localisation d’informations précises et spécifiques, mais manquent de capacité à générer du contenu créatif ou inédit. D’autre part, les modèles génératifs sont capables de créer de nouveaux contenus à partir d’une invite ou d’un contexte donné, mais peuvent avoir des difficultés avec l’exactitude factuelle ou la pertinence spécifique.

Self-RAG fusionne ces deux approches pour pallier leurs limitations individuelles, en utilisant les informations récupérées par le modèle basé sur la récupération comme entrée ou contexte supplémentaire pour le modèle génératif. La génération augmentée par récupération a de nombreuses applications, notamment dans les systèmes de réponse aux questions, où le modèle basé sur la récupération trouve des passages ou documents pertinents contenant la réponse, et le modèle génératif produit ensuite une réponse concise et cohérente. Dans les tâches de génération de contenu, comme la rédaction de résumés ou d’histoires, le modèle de récupération fournit des faits ou un contexte pertinents, que le modèle génératif utilise pour créer un contenu plus informatif et captivant. En résumé, cette approche combine les forces des deux types de modèles pour permettre des systèmes de génération de langage plus robustes et ancrés dans le contexte.

Le fonctionnement de Self-Rag repose sur deux types de « jetons de réflexion » : les jetons de récupération et de critique. Les premiers aident le modèle à décider quand il doit chercher des informations supplémentaires, tandis que les seconds permettent au modèle d’évaluer la qualité de ses propres générations. Le processus d’inférence de Self-Rag se déroule en quatre étapes principales, incluant la prédiction de jetons de récupération, la récupération de passages de texte, la génération de nouveaux segments de sortie basés sur ces passages, et enfin, la production de jetons de critique pour évaluer la sortie.

Pour entraîner ce système, les auteurs ont développé un modèle générateur et un modèle critique, en utilisant une méthode basée sur le modèle GPT-4. Le modèle génératif est entraîné sur un corpus augmenté contenant des jetons de réflexion créés par le modèle critique, permettant ainsi au modèle génératif de produire des jetons de réflexion sans dépendre du modèle critique durant la phase d’inférence.

Les résultats expérimentaux sont prometteurs : Self-RAG surpasse les LLMs pré-entraînés et les approches RAG existantes dans diverses tâches, y compris le raisonnement et la génération de textes longs. Il se montre également supérieur à des modèles comme ChatGPT et Llama2-chat dans plusieurs tâches, démontrant l’efficacité de l’entraînement et de l’inférence avec des jetons de réflexion.

Pour en savoir plus :

• Akari Asai et Al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, Arxiv, 2023