L’IA face aux maths • Qant, M. de R. avec Midjourney
Même alors que leurs dimensions semblent avoir atteint un plafond, les grands modèles de langage (LLM) progressent de manière significative, grâce aux raisonnements en chain-of-thought, mais la manière dont ils utilisent leurs ressources cognitives reste mal comprise.
Une étude récente compare plusieurs versions de ces modèles sur le benchmark Omni-Math afin de déterminer si l’amélioration de la performance provient d’une chaîne de raisonnement plus longue ou d’une utilisation plus efficace du calcul au moment de l’inférence. Les résultats indiquent que le modèle o3-mini (m) d’OpenAI, optimisé pour maximiser la précision avec un nombre modéré de tokens, surpasse o1-mini en précision sans nécessairement allonger son raisonnement.
De plus, l’étude met en évidence une tendance générale : l’allongement du raisonnement s’accompagne d’une baisse de précision, même en contrôlant la difficulté des questions.
Source archive Kessel : https://qant.kessel.media/posts/pst_403658a9fc0b43e09d691edca4d4fca3
