Repenser les lois des LLMs • Qant, M. de R. avec GPT-4o
Le progrès des modèles d’intelligence artificielle a longtemps semblé suivre une trajectoire simple : pour améliorer les performances, il suffisait d’augmenter la taille des modèles, les jeux de données et la puissance de calcul. C’est ce qu’on a appelé le scaling, théorisé par des lois empiriques qui décrivent comment la perte diminue en fonction des ressources allouées. Mais cette dynamique est aujourd’hui remise en question. Non seulement les gains deviennent de plus en plus coûteux à obtenir, mais certaines erreurs persistent malgré l’augmentation des paramètres.
Dans ce contexte, deux travaux récents proposent des approches alternatives. L’un, porté par des chercheurs de Google Research et de Berkeley, explore une méthode pour améliorer la qualité des réponses produites par un modèle sans modifier ses poids. L’autre, publié par Chien-Ping Lu, un chercheur indépendant, introduit une nouvelle version des lois de scaling qui tient compte de l’évolution de l’efficacité dans le temps. Ces deux perspectives, bien que distinctes, convergent vers un même constat : faire progresser l’IA passe désormais autant par des stratégies d’utilisation que par l’accumulation brute de moyens.
Mise à l’échelle de l’IA et loi de Moore avec des taux de doublement de l’efficacité. • Chien-Ping Lu
Source archive Kessel : https://qant.kessel.media/posts/pst_2502a25110794ee5b7257f3df15b437c
