La juste évaluation des modèles. • Qant, M. de R. avec GPT-4o
Alors que les modèles de langage sont de plus en plus intégrés aux outils du quotidien, leur évaluation repose encore largement sur des tests académiques standardisé. Ces métriques ont servi de base à la compétition entre modèles ces dernières années, mais elles sont de plus en plus critiquées pour leur éloignement des usages concrets. Une équipe de chercheurs de l’université de Sydney propose une nouvelle approche. Dans un article qui vient d’être pré-publié, ils identifient six grandes capacités mobilisées dans les interactions humaines avec l’IA, à partir d’une analyse croisée de données d’usage sur Claude.ai (plus de quatre millions de requêtes) et d’une enquête menée auprès de 18 000 salariés dans onze secteurs. Leurs travaux montrent que les benchmarks actuels ne couvrent qu’une partie des compétences réellement sollicitées, laissant des pans entiers de l’activité humaine hors champ.
Source archive Kessel : https://qant.kessel.media/posts/pst_e5ea2fe1c325483e8d7587a030a6b908