Jusqu’à présent, créer une vidéo à partir d’une invite textuelle (“prompt”) demandait de nombreuses générations pour conserver la cohérence des personnages et des scènes. L’IA ne correspondait donc guère à une augmentation de la productivité dans la vidéo, d’autant que les images générées restent loin du photoréalisme. Avec Sora, il devient possible de générer des vidéos narratives complètes, quoique limitées à une minute. Ces vidéos photoréalistes peuvent inclure des scènes complexes avec plusieurs personnages, différents types de mouvements. Le souci du détail pour les arrière-plans rend possible d’incorporer des vidéos générées par l’IA dans des films traditionnels.
Le nouveau modèle d’OpenAI semble donc constituer une avancée potentielle. Sora est actuellement testé par une équipe d’évaluation des risques, des artistes visuels, des designers et des cinéastes. L’entreprise a ouvert l’accès à Sora à un nombre limité de chercheurs et de créateurs de vidéos pour “red-teamer” (tester) le produit contre les tentatives de contournement de ses conditions d’utilisation, qui interdisent le contenu violent, sexuel, haineux, l’utilisation d’images de célébrités ou la violation de propriété intellectuelle.
Les vidéos générées portent un filigrane indiquant leur création par IA. OpenAI n’a pas précisé la quantité de séquences utilisées pour entraîner Sora ni leur origine, à part mentionner que le corpus contient des vidéos disponibles publiquement et sous licence de détenteurs de droits d’auteur.
Source : NBC News
Le lancement de Sora intervient trois semaines après la présentation par les chercheurs de Google Research de Lumiere, un modèle text-to-video qui se limite lui à des vidéos de cinq secondes maximum (lire Qant du 26 janvier). Selon Google Research, l’originalité de Lumiere consiste en la capacité de son architecture à construire une vidéo en une seule fois, là où les modèles précédents avaient tendance à générer la première et la dernière image puis à combler l’espace entre les deux. Comme son concurrent Sora, Lumiere n’est encore à l’heure actuelle qu’à l’état de projet de recherche.
Si l’arrivée d’OpenAI et Google dans le domaine des modèles text-to-video peut sembler tardive, aucun des acteurs en place n’a réellement émergé, qu’il s’agisse de Runway et son modèle Gen-2 annoncé en mars dernier (lire Qant du 21 mars 2023), ou du britannique Synthesia. À l’heure actuelle, chaque start-up se concentre sur un segment précis. Synthesia s’adresse par exemple aux utilisateurs professionnels avec des avatars d’IA et des arrière-plans vidéos personnalisés. Pictory, une start-up américaine, convertit des longs formats comme par exemple des webinaires dans des vidéos courtes à destination des réseaux sociaux. Runway, plus tournée vers la création, se destine plutôt à l’expérimentation artistique. Pika AI est aujourd’hui sans doute le logiciel le plus utilisé pour les films publicitaires.
Contrairement à tous ces modèles de génération vidéo, Sora vise à comprendre et simuler le monde physique en mouvement. Du moins d’après OpenAI : la déclaration a fait bondir Yann Le Cun, prix Turing et patron de la recherche IA chez Meta, qui a lancé son propre modèle, Emu Vidéo, en novembre dernier (lire Qant du 17 novembre 2023). «La production de vidéos d’apparence plutôt réaliste à partir d’invites n’indique pas qu’un système comprend le monde physique. La génération est très différente de la prédiction causale à partir d’un modèle du monde. L’espace des vidéos plausibles est très vaste, et un système de génération de vidéos doit simplement produire un échantillon pour réussir» rappelle-t-il sur X-Twitter.
Manque en tout cas encore l’acteur généraliste, capable de répondre à tous les besoins avec du contenu de qualité : le ChatGPT de la vidéo IA. Sans doute s’appellera-t-il Google, Meta ou bien OpenAI. Mais le jeu est encore ouvert, notamment au plan technologique.
« Les entreprises et les sociétés de toutes tailles devraient prêter attention à la rapidité avec laquelle ce domaine progresse et aux impacts potentiels qu’il aura sur leurs politiques de contenu, leurs interactions avec les clients, leurs politiques de sécurité et l’expérience de leurs employés » remarque une analyse de l’institut Forrester Research. Ce qui laisse aux start-up une chance de tirer leur épingle du jeu.
Ou d’être rachetées.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_13a75a4ac0cd4652b6aba7823755fd23
