Ouvrir le capot des modèles de langage

Inspecter l’intérieur des modèles • Qant, M. de R. avec Midjourney

Les processus internes des réseaux neuronaux restent largement opaques, y compris pour leurs créateurs. La complexité de ces “boîtes noires” pose un défi majeur dans les domaines nécessitant une fiabilité et une transparence accrues, comme la médecine ou la finance.

Pour faire face à ces enjeux, des chercheurs de Google DeepMind ont conçu Gemma Scope, une suite d’outils exploitant des autoencodeurs sparses (SAE) pour analyser et décomposer les activations des réseaux neuronaux des modèles de langage. Gemma Scope s’inscrit ainsi dans l’effort croissant pour améliorer l’interprétabilité des modèles de langage, essentielle à leur adoption dans des contextes critiques.