J’suis l’LLM du phonographe, le Transformer de la chanson…

L’IA joue au virtuose • Qant, M. de R. avec Midjourney

Depuis deux ans, déjà, on sait que l’IA sait chanter. Dès le printemps 2023, une chanson créée sur TikTok et interprétée par une IA comme un faux duo entre les rappeurs canadiens Drake et The Weeknd avait défrayé la chronique (lire Qant du 11 mai 2023). A l’époque, Spotify avait retiré des dizaines de milliers de morceaux produits par une start-up spécialisée dans l’IA, Boomy, sans véritablement rassurer les majors. L’année suivante, plusieurs labels dont Universal, Sony et Warner, intentent une action en justice contre les start-up Suno et Udio, spécialisées dans la génération de musiques par IA, pour violation de droits d’auteurs (lire Qant du 25 juin 2024).

Depuis, la génération automatique de musique, et plus particulièrement de chansons comprenant à la fois des paroles et un accompagnement instrumental, progresse mais reste un défi technique important. Les approches existantes adoptent généralement des modèles à plusieurs étapes, où la synthèse vocale et l’accompagnement musical sont traités séparément avant d’être fusionnés. Cette stratégie se traduit par des processus d’apprentissage et d’inférence complexes et parfois rigides. L’équipe de chercheurs duShanghaiAILaboratory, à l’origine de SongGen, propose une alternative avec un modèle en une seule étape, qui vise à produire simultanément la voix et l’accompagnement. Ce qui permet des progrès significatifs.

Fonctionnement général de SongGen • Source : Zihan Liu et al.