En attendant le text-to-video, Google vient de présenter sa nouvelle technologie Vid2Seq . Il s’agit d’un modèle de langage visuel pré-entraîné conçu pour décrire des vidéos contenant plusieurs événements. L’architecture Vid2Seq ajoute des jetons temporels spéciaux à un modèle de langage, permettant ainsi de prédire à la fois les limites des événements et leurs descriptions textuelles. Le modèle a été pré-entraîné sur des millions de vidéos commentées et a montré une amélioration significative des performances sur divers benchmarks, tels que YouCook2, ViTT et ActivityNet Captions.
Vid2Seq se distingue des autres modèles de légendage vidéo par sa capacité à s’adapter à des tâches complexes telles que la localisation et la description d’événements dans des vidéos de plusieurs minutes. Il est pré-entraîné sur le vaste ensemble de données YT-Temporal-1B, qui comprend 18 millions de vidéos commentées couvrant un large éventail de domaines. Il promet de résoudre les problèmes liés à l’annotation manuelle des vidéos, qui est coûteuse et difficile à mettre à l’échelle.
Source : Google
Source archive Kessel : https://qant.kessel.media/posts/pst_a6ac77cf9e6c4072a29661f8c68ca31b
