Comment évaluer correctement les LLM ? Avec des stats

L’IA passe le test • Qant, M. de R. avec Midjourney

L’évaluation des grands modèles de langage (LLM) repose généralement sur des métriques comme l’exactitude ou la précision. Ces méthodes, bien qu’efficaces pour comparer les performances entre modèles, négligent la variabilité des résultats obtenus. Autre problème, le fait que les modèles soient entraînés sur les données spécifiques des benchmarks pourrait expliquer la convergence observée de leurs résultats (à moins, bien sûr, que leurs performances soient effectivement en train de converger. D’où une frénésie d’activité dans le domaine). 

Mi-novembre par exemple, la société de recherche Epoch AI a présenté FrontierMath, un benchmark mathématique qui a montré les limites importantes de modèles comme GPT-4o ou Gemini 1.5 Pro. A la différence des benchmarks existants, FrontierMath garde secrets ses problèmes. 

Tout récemment, dans une étude intitulée Adding Error Bars to Evals, Evan Miller, chercheur chez Anthropic, propose une approche statistique innovante pour pallier ces lacunes.