Si les grands modèles de langage (LLMs) actuels et les outils qui en découlent sont aujourd’hui capables de réaliser un nombre considérable de tâches, leur efficacité dépend largement de la formulation des prompts, ou « invites » en français. Malheureusement, la création d’invites idéales nécessite souvent un effort humain très important.
Pour répondre à ce défi, une étude récente rédigée par des chercheurs de l’université de Tsinghua, de l’université Northeastern et de Microsoft Research a construit Evoprompt, un cadre (“framework”) qui combine les grands modèles de langage avec des algorithmes évolutionnistes pour optimiser automatiquement les invites. Les algorithmes évolutionnistes résolvent les problèmes en singeant les comportements d’organismes vivants et les mécanismes associés à l’évolution biologique. Le processus utilisé s’apparente à la sélection naturelle : on écarte les solutions les moins adaptées, tandis que les plus convaincantes sont réévaluées pour obtenir un résultat optimal.
Evoprompt est conçu pour être utilisé avec deux sous-familles, les algorithmes génétiques et ceux à évolution différentielle. Les premiers s’inspirent de l’évolution des êtres vivants, avec sélection des individus, croisement, mutations et enchaînement de “générations” jusqu’à une solution définitive.
Les algorithmes à évolution différentielle s’inspirent aussi de la théorie de l’évolution, où des solutions potentielles « évoluent » pour s’améliorer. Elle fonctionne en combinant et en ajustant constamment des solutions existantes pour en trouver de meilleures.
Dans les deux cas, les algorithmes se démarquent par une grande flexibilité, qui permet de les modifier facilement. Evoprompt ne nécessite pas l’accès aux paramètres des LLMs et génère des invites lisibles par l’homme.
Evoprompt se compose de trois étapes principales : sélection de la population initiale, évolution et mise à jour. En commençant par un ensemble initial de prompts, il les affine itérativement en utilisant des opérateurs évolutifs et les LLMs. Le graphique ci-dessus montre l’évolution de deux jeux de données, soumis durant plusieurs itérations en comparant les algorithmes génétiques (GA) et à évolution différentielle (DE).
Les chercheurs ont testé Evoprompt sur deux LLMs différents, Alpaca (un modèle dégradé à partir de Llama de Meta) et GPT-3.5. L’étude présente des expériences menées sur neuf jeux de données différents, permettant d’apporter des preuves empiriques sur l’efficacité de l’outil par rapport aux méthodes précédentes.
Evoprompt présente des performances jusqu’à 14% supérieures dans certaines tâches, comme la simplification, le résumé et la classification des sentiments. Plus en général, il surpasse nettement les invites conçues par l’homme et les méthodes existantes d’optimisation automatique.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_7d63e4994f3b4372aa3d758d5011680f
