La science contre les hallucinations

Une nouvelle étude intitulée « HallusionBench » met en lumière les défis auxquels sont confrontés les modèles de langage et de vision de grande taille, tels que GPT-4V(ision) et LLaVA-1.5. Ces systèmes avancés, bien qu’impressionnants, sont susceptibles de succomber à ce que les chercheurs appellent des « hallucinations langagières » et des « illusions visuelles », où leur biais linguistique et leur mémoire paramétrique peuvent fausser leur interprétation des images.

Pour contrer ces problèmes, « HallusionBench » a été conçu comme un outil d’évaluation spécifique, avec environ 200 paires de questions-réponses visuelles. Ces questions sont divisées en deux catégories : les questions « Dépendantes Visuelles », qui nécessitent un contexte d’image pour répondre, et les questions « Supplément Visuel », où l’image sert simplement d’information complémentaire. L’analyse des réponses incorrectes a révélé deux types principaux d’échecs : l’illusion visuelle et l’hallucination langagière.

Les résultats soulignent la nécessité d’améliorer les capacités visuelles des modèles et de mieux équilibrer la mémoire paramétrique avec le contexte donné.

Dans une autre recherche, « Woodpecker » se présente comme une méthode novatrice pour corriger les hallucinations dans les modèles de langage multimodaux (MLLMs). Contrairement aux approches existantes qui nécessitent souvent une rééducation coûteuse des modèles, Woodpecker propose un processus correctif sans formation, transparent et interprétable.

Le cadre de Woodpecker comprend cinq étapes, allant de l’extraction des concepts clés à la correction des hallucinations, en passant par la formulation de questions, la validation des connaissances visuelles et la génération de revendications visuelles. Les tests sur plusieurs ensembles de données montrent que Woodpecker améliore considérablement l’exactitude des réponses par rapport aux modèles de base, soulignant son potentiel en tant qu’outil de correction des hallucinations visuelles.

En conclusion, ces deux études représentent des avancées significatives dans la compréhension et l’amélioration des modèles de langage et de vision de grande taille. « HallusionBench » révèle les limites des systèmes actuels et fournit un cadre pour les futures améliorations, tandis que « Woodpecker » offre une solution prometteuse pour affiner l’exactitude des MLLMs, marquant un pas en avant vers des applications pratiques plus fiables.

Pour en savoir plus : 

• Fuxiao Liu et al., HallusionBench: You See What You Think? Or You Think What You See? An Image-Context Reasoning Benchmark Challenging for GPT-4V(ision), LLaVA-1.5, and Other Multi-modality Models, Arxiv, 2023
• Shukang Yin et al., Woodpecker: Hallucination Correction for Multimodal Large Language Models, Arxiv, 2023