Avant-hier, très discrètement, Google a présenté un éditeur vidéo IA nommé Dreamix, capable de transformer des vidéos existantes ou de créer de nouvelles vidéos à partir d’une seule image. La technologie de Dreamix, dite de “diffusion” (comme Midjourney ou Dall-e), lui permet de modifier des vidéos en utilisant des instructions textuelles. Au cours du processus de montage vidéo, Dreamix ajoute du bruit aux images originales et les transmet à un modèle de diffusion vidéo qui génère de nouvelles images sur la base d’instructions textuelles avant de les fusionner dans une vidéo. Les images originales servent en quelque sorte de contour, capturant la forme et les mouvements du sujet, laissant la place à des modifications.
Outre la modification de vidéos existantes, Dreamix est également capable de générer de nouvelles vidéos. Google a présenté deux applications de cette technologie : la première est la synthèse vidéo à partir d’une seule image, où de nouvelles images sont générées en apportant de légères modifications à la posture du sujet, qui sont ensuite appliquées au modèle vidéo. La seconde application est la vidéo centrée sur le sujet, où une série d’images d’un sujet est utilisée pour créer une vidéo où le sujet effectue une action spécifique. L’objectif de cette technologie est de « faire avancer la recherche sur les outils permettant aux utilisateurs d’animer leur contenu personnel », selon les chercheurs de Google.
Dreamix jette les bases d’un produit commercial qui permettra aux utilisateurs de mieux aligner le contenu généré par l’IA sur leurs objectifs personnels. Si quelqu’un s’en aperçoit : l’annonce par Runway d’un produit similaire lui a volé la vedette (voir Qant du 8 février).
Source : Dreamix
Pour en savoir plus : The Decoder, Qant du 8 février
Source archive Kessel : https://qant.kessel.media/posts/pst_a4e5c378d845405694f6ea07aeaf75aa
