Ces IA qui se réparent d’elles-mêmes

Chaque fois qu’Hercule coupait une tête de l’hydre de Lerne, il en repoussait deux ou trois. Impressionné par ses capacités de régénérer des parties de son corps, le grand naturaliste des Lumières Carl von Linné a donné le nom du monstre à un petit animal des étangs, un cnidaire. Et voici que les réseaux neuronaux montrent les mêmes capacités.

Des chercheurs de Deepmind, la filiale de Google spécialisée dans l’intelligence artificielle, ont publié fin juillet une étude qui met en évidence une caractéristique inconnue des grands modèles de langage comme GPT-3. Lorsqu’une couche d’un réseau neuronal est “amputée”, une autre couche compense automatiquement cette perte, un phénomène qu’ils ont baptisé « effet Hydre ». Cette découverte remet en question la compréhension de la structure interne des modèles de langage et ouvre de nouvelles perspectives en matière d’interprétabilité.

L’effet Hydre décrit la capacité des modèles à montrer non seulement de la redondance, mais aussi à s’adapter et à auto-réparer leurs calculs lorsqu’une de leurs couches est supprimée. Pour ce faire, les chercheurs suppriment ou modifient des parties d’un réseau neuronal. La suppression de certains composants déclenche des mécanismes compensatoires dans le modèle, renforçant ainsi leur résilience.

L’existence de cet « effet Hydre » remet en question les méthodes classiques d’interprétation des modèles et notamment l’idée qu’en supprimant un composant important, les performances du modèle diminuent. Elle complexifie donc la compréhension de du fonctionnement d’un réseau neuronal. Si une partie du modèle compense ou annule les actions d’une autre partie, il devient difficile de déterminer quelle partie du modèle est réellement responsable de ses sorties.

Néanmoins, l’étude offre des pistes sur la manière dont les modèles de langage développent naturellement des capacités de redondance et d’adaptation. Par exemple, du point de vue de la modélisation linguistique, l’effet Hydra est surprenant car il semble superflu : il ajoute une robustesse face à un type d’ablation que le modèle ne rencontre jamais en temps réel. Cela pourrait suggérer que l’effet Hydra est davantage bénéfique pendant la formation du modèle plutôt qu’à l’inférence.

*Pour en savoir plus : *

• Thomas McGrath et al., The Hydra Effect: Emergent Self-repair in Language Model Computations, août 2023, Arrive.org