Un rayon de lumière dans l’inconnu

Décortiquer les LLM • Qant avec GPT-4o

Les chercheurs d’Anthropic ont publié deux études détaillant un nouvel outil d’interprétabilité des grands modèles de langage. En combinant une décomposition en représentations internes interprétables avec une méthode d’attribution linéaire, ils construisent des graphes qui rendent visibles les circuits activés à chaque étape du traitement. Ces « graphes d’attribution » retracent les liens de cause à effet entre les concepts manipulés par le modèle, révélant comment une réponse est calculée à partir d’éléments intermédiaires comme des connaissances, des raisonnements ou des signaux de sécurité. Le travail s’inscrit dans le champ de l’interprétabilité “mécanistique”, qui cherche à cartographier le fonctionnement interne des réseaux de neurones.