Utiliser la puissance des LLM pour créer des solutions d’entreprises, tout en évitant les problèmes que ces derniers peuvent rencontrer (comme les hallucinations), c’est la promesse de ChatFAQ, le framework développé par la start-up madrilène With. Fondée par deux Français, Geoffroy de Ribou et Rémy Sanchez, With propose un framework utilisant la technologie RAG (génération assistée par récupération), qui utilise des informations provenant de sources externes pour rendre plus précis et plus informatifs les résultats proposés par les grands modèles de langage. “Le besoin est de pouvoir gérer des chatbots de manière professionnelle et scalable dans un environnement d’entreprises” explique Rémy Sanchez, CTO de With.
Le fonctionnement de ChatFAQ est simple : l’utilisateur construit un service (chatbot, application interne) adapté à ses besoins. La plate-forme de RAG comprend une base de données vectorielle PostgreSQL, qui héberge le fonds documentaire de l’entreprise, et un module qui comprend l’intention de l’utilisateur et enrichit le prompt. La demande est ensuite envoyée à l’un des principaux LLM du marché (Llama, GPT-4, Claude ou Mixtral), qui répond à la demande de l’utilisateur de manière précise et sécurisée. Cette architecture permet notamment d’éliminer les hallucinations.
ChatFAQ étant un framework open source, n’importe quel utilisateur peut l’utiliser pour construire ses outils en y téléchargeant ses données, en rédigeant ses propres prompts et même en faisant interagir plusieurs RAG. With s’adresse donc à deux types de clients. Tout d’abord, ceux ne maîtrisant pas la technologie et ayant besoin d’un accompagnement personnalisé. C’est notamment le cas de plusieurs grands groupes travaillant déjà avec l’entreprise, comme le Crédit Agricole, Toyota Financial Services, ou encore le groupe Richemont. D’autre part, ceux pouvant créer directement ChatFAQ. “Nous voulons créer une communauté autour de ce framework, que d’autres gens l’utilisent pour créer” explique Rémy Sanchez.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_65590de8398b4962a5f6d89aa810269c
