Après le speech-to-text et le text-to-image, voici venir le sound-to-image. Une nouvelle application développée par le studio néerlandais Modem permet de transformer la musique en image. Pour ce faire, elle branche un synthétiseur musical directement sur Stable Diffusion, ce qui permet à l’IA de produire des images animées.
Il suffit de jouer une chanson et les images se transforment en suivant la hauteur, la tonalité, les notes, le rythme et les battements par minute de la musique.
Source : Modem Studio
Pour en savoir plus : Fast Company
Source archive Kessel : https://qant.kessel.media/posts/pst_2d56174c59d042f18e6d27add85d3f69
