L’IA multimodale qui décrypte les interactions sociales

L’IA pour comprendre les interactions humaines • Qant, M. de R. avec GPT-4o

Dans une interaction humaine, une part essentielle de la communication passe par le non verbal : un regard, un geste de la main, une orientation du corps. Pour qu’une intelligence artificielle puisse participer à ces échanges, elle doit être capable de combiner ces indices visuels avec le langage. C’est l’objectif de la MMSI, pour Multimodal Social Interaction Understanding, une discipline en plein essor qui vise à enseigner à l’IA à décrypter les conversations en contexte.

Jusqu’à présent, les modèles de MMSI fonctionnaient en « mode différé », avec accès à l’ensemble de la conversation, passée et future. Or, dans un assistant embarqué, seul le passé est disponible. Cette situation, dite “en ligne”, est bien plus exigeante : sans le recul, de nombreux signaux disparaissent. Les performances des modèles chutent de 10 à 20 % sur des tâches comme la reconnaissance de l’interlocuteur ou la résolution des pronoms. Une nouvelle étude apporte des données réalistes et bien annotées pour entraîner des IA à comprendre les échanges humains en situation, améliorant significativement la performance des modèles.