Imagebind, un modèle pour les univers immersifs

Meta vient de publier un article de recherche sur un modèle d’intelligence artificielle, appelé ImageBind, qui combine six modalités : le texte, l’image et l’audio, comme GPT-4, mais aussi la profondeur, la température et les unités de mesure inertielle (IMU), qui calculent la position et le mouvement. En reliant les éléments d’une image à leur forme, leur son, leur température et leur mouvement, le modèle génère une connaissance plus approfondie du monde. ImageBind génère un espace d’intégration partagé à travers plusieurs modalités sans nécessiter d’entraînement sur toutes les combinaisons de modalités possibles. Cela permettra, par exemple, d’utiliser des capteurs 3D et IMU pour créer des mondes virtuels immersifs ou générer du contenu en leur sein.

ImageBind serait donc le premier LLM capable de générer des métavers. En outre, ses capacités de recherche multimodale le rendent capable d’explorer des souvenirs multimédias à l’aide de n’importe quelle combinaison de texte, d’audio et d’images ou de vidéos. Ce qui pourrait offrir une nouvelle vie aux réseaux sociaux.

Source : Meta, Arxiv

Pour en savoir plus : The Verge