Les limites des LLM. • Qant, M. de R. avec GPT-4o
Les grands modèles de langage (LLM) ont circonscrit le plateau qu’ils avaient atteint grâce à “l’inference-time compute”, la technique à la base des modèles de raisonnement comme GPT o3 et Claude 4. Une étude récente de chercheurs d’Apple conduit à relativiser ces progrès, en montrant que même les modèles les plus récents échouent à généraliser de manière fiable au-delà des données de leur entraînement : ils interpolent, mais n’extrapolent pas.
Pour les chercheurs d’Apple, ces constats ne remettent pas en cause l’intérêt de l’intelligence artificielle, mais ils plaident pour une redéfinition des objectifs. L’ambition ne devrait pas être de simuler le raisonnement humain, mais de combiner la puissance de calcul des machines avec des capacités de raisonnement explicite, symbolique et contrôlable. Les LLM continueront à offrir des usages utiles – rédaction et synthèse de textes, génération de code, assistance… Mais ils ne constituent pas, à ce jour du moins, une voie directe vers une intelligence artificielle générale.
Une approche rafraîchissante, dans un monde de la recherche aussi fasciné par l’IA que Mary Meeker. Mais qui peut expliquer le retard pris par la firme à la Pomme.
Source archive Kessel : https://qant.kessel.media/posts/pst_48c1c45064e64bf6bc547f90f4abe1cc