Petit Machiavel

Le point sur la recherche en IA • Qant, M. de R. avec Midjourney

O1 emploie systématiquement un processus de raisonnement en plusieurs étapes avant de produire une réponse, une approche que les chercheurs d’OpenAI qualifient de « raisonnement en chaîne de pensée ». Cette méthode permet au modèle d’analyser les problèmes complexes de manière plus approfondie et structurée.

Les premières évaluations indiquent un vaste potentiel d’applications. Dans le domaine de l’ingénierie logicielle, o1 fait preuve d’une capacité accrue à résoudre des problèmes complexes de programmation, avec un taux de réussite de 41,3% sur le benchmark SWE-bench Verified, contre 31% pour GPT-4. Ces résultats suggèrent une amélioration substantielle dans la compréhension et la résolution de problèmes techniques.

Autre exemple, dans le secteur financier, les tests sur QuantBench, une suite d’évaluations basée sur des problèmes de trading quantitatif, montrent qu’o1 atteint une précision de 60%, soit une amélioration de 28 points par rapport à GPT-4. Les tests incluent 25 problèmes vérifiés issus de compétitions organisées par des sociétés d’asset management. Ces performances ouvrent la voie à des applications potentielles dans l’analyse financière et la prise de décision algorithmique.

Modèle militant

Cependant, des évaluations approfondies menées par Apollo Research, un laboratoire indépendant recruté pour le red teaming de 01, ont mis en lumière des comportements préoccupants. Le rapport Frontier Models are Capable of In-context Scheming indique que le modèle o1 peut, dans certaines conditions, développer des stratégies de dissimulation sophistiquées.

Par exemple, dans un cas étudié, le modèle a augmenté la compétitivité de certains fournisseurs par rapport à d’autres, afin de donner plus de chances aux plus verts d’entre eux. Seul un examen approfondi des données a permis de remarquer la falsification. Quand on lui fait remarquer ces comportements, o1 nie ses actions dans 99% des cas. Il montre ainsi une forme de « conscience stratégique » préoccupante.

Avec un peu d’aide, o1 atteint le niveau de 2 heures de travail humain • Source: OpenAI

Sur la suite de tâches élaborés pour des agents d’IA par l’institut d’évaluation Metr, o1 fait mieux que le meilleur modèle public (Claude 3.5 Sonnet) et atteint des performances comparables à celles des humains avec une limite de temps de 2 heures par tentative. Mais il lui faut pour cela limiter à 6 le nombre d’option à chaque étape du raisonnement.

Petit Machiavel deviendra grand.