Créer des vidéos à partir d’un texte avec RunwayML

Le premier modèle de Runway, Gen1, permet de modifier des vidéos déjà existantes en y appliquant des surcouches IA, Gen2 va plus loin. Annoncé en mars dernier (lire Qant du 21 mars), Gen2 permet de créer des vidéos à partir de simples invites textuelles. Et depuis le lancement de Gen2, les courts-métrages créés à partir du logiciel se multiplient. Runway prévoit même de lancer un festival du film IA en mai prochain (lire Qant du 27 octobre). Mais peut-il être pris en mains sans formation préalable au montage ou même à l’audiovisuel ?

RunwayML propose de réaliser des images à partir de texte ou d’autres images. Mais l’outil est surtout connu pour sa capacité à réaliser très facilement des vidéos. Pour cela, trois voies sont possibles : produire une vidéo à partir d’un texte, d’une image, ou bien d’une image accompagnée d’une description. Nous allons nous concentrer dans ce banc d’essai sur la production de vidéo, en explorant les trois moyens. 

Pour générer une courte vidéo grâce à une description, Runway demande à l’utilisateur de décrire la scène et comment celle-ci “bouge”. Nous demandons à ChatGPT de rédiger un prompt précis en anglais, qui décrit un tigre en mouvement. Attention, Runway limite le prompt à 320 caractères seulement. Voici le texte proposé par ChatGPT : 

Create a video of a vibrant tiger sprinting right across the savanna at sunset. Focus on its powerful stride and intense gaze, with a blurred, golden-hued grassland background, emphasizing speed and wild beauty

Le résultat de Runway est le suivant : 

Si l’image est réaliste, le mouvement est assez approximatif. A noter que la vidéo originellement par Runway dure 4s, mais qu’il est possible de l’allonger, moyennant quelques crédits. 

Créons maintenant une vidéo à partir d’une image. Pour cela, nous allons générer une image sur Midjourney, à l’aide d’un prompt écrit sur ChatGPT. Le prompt demandé doit décrire un paysage. Le voici : 

A breathtaking landscape at sunset in realistic style. In the foreground, a field of lavender in full bloom, with shades of purple and blue, stretches as far as the eye can see. The rows of lavender are neatly aligned, creating a perspective that guides the eye towards the horizon. In the middle of the field, a small dirt track winds along, lined with wild poppies with bright red petals and white daisies.In the background, an old stone windmill with wooden wings stands proudly. It is partially lit by the last golden rays of the setting sun, creating a play of light and shadow on its structure. Around the mill, a few solitary trees, probably oak or olive, add depth and texture to the landscape.The background is dominated by a majestic mountain range. The peaks are lightly snow-covered and bathed in pink and orange light, reflecting the last glimmers of the sun. The sky above the mountains is a mixture of shades of pink, orange and purple, with a few scattered clouds catching the sunlight, creating a dramatic effect.The overall atmosphere of the painting is peaceful and serene, with soft, warm light enveloping the entire landscape. The composition should evoke a sense of tranquility and timeless natural beauty.

Le résultat obtenu grâce à Midjourney est le suivant : 

Soumettons maintenant cette image à Runway, pour voir comment l’outil l’animera. A noter qu’il est possible de choisir le mouvement de la caméra parmi une courte liste (vers la gauche, la droite, le haut, etc…). Nous choisissons de demander à la caméra de zoomer. 

Le mouvement est cette fois plus clair, de même que le zoom demandé. Voyons maintenant s’il est possible d’aller plus loin en mélangeant image et texte. Nous utilisons la même image de paysage que précédemment, en demandant cette fois à la vidéo de faire se lever le soleil, de manière à changer les couleurs à l’écran. Le résultat obtenu est le suivant : 

Si le changement de couleur est léger, le résultat n’en reste pas moins très satisfaisant. La vidéo est de bonne qualité, l’évolution demandée est bien là.

En résumé, Runway ML permet de réaliser de courtes vidéos en quelques minutes, qui peuvent par exemple venir enrichir une présentation. L’outil est facile à prendre en main, et son utilisation est très intuitive.