Les agents que tous les grands de l’IA sont en train de développer diffèrent profondément des grands modèles de langage (LLM). Ils peuvent être utilisés pour des tâches plus difficiles et, donc, plus utiles dans le monde réel qu’une simple conversation. Ils peuvent interagir sur des sites Web, d’e-commerce par exemple, utiliser des outils informatiques spécifiques ou créer de nouveaux programmes. Certains utilisent la ligne de commande du PC, d’autres créent leur propre interface agent-ordinateur.
Une nouvelle étude de Princeton s’interroge sur la nécessaire adaptation des critères d’évaluation des modèles aux agents d’IA, en tenant compte de la dimension économique et non seulement des performances. Un agent peut en effet coûter beaucoup plus cher qu’un LLM. À Princeton, les créateurs de SWE-Agent (qui détecte et répare les bogues dans un programme) ont plafonné chaque exécution de l’agent à 4 dollars, l’équivalent centaines de milliers de jetons d’un modèle de langage comme GPT-4.
Source archive Kessel : https://qant.kessel.media/posts/pst_109ac974c4374812970c4d753f9f3e31
