Des chercheurs de l’université d’Osaka viennent de publier une étude dans laquelle ils ont réussi à reconstituer des images haute résolution à partir de l’activité cérébrale. Ils ont utilisé le modèle de génération d’image Stable Diffusion qui leur a permis de créer des images précises sans entraînement préalable de l’IA. Les chercheurs ont prédit une représentation latente de l’image à partir des signaux d’IRMf (imagerie par résonance magnétique fonctionnelle), ont ajouté du bruit et ont utilisé les représentations textuelles des signaux d’IRMf pour produire une image finale.
Cette étude est la première à interpréter de manière quantitative le modèle de diffusion d’un point de vue biologique. Les chercheurs ont également créé des diagrammes montrant la corrélation entre les stimuli et les niveaux de bruit dans le cerveau, ainsi que l’engagement de différents réseaux neuronaux dans le processus de reconstruction.
Source : Osaka University
Pour en savoir plus : Vice
Source archive Kessel : https://qant.kessel.media/posts/pst_71fb89e017c34589ae9983c2e496aad7