Stability AI, surtout connu pour son générateur d’images Stable Diffusion, a lancé à la rentrée 2023 son premier outil de génération de musique par IA, Stable Audio (lire Qant du 15 septembre). Dès décembre 2022, l’entreprise avait marqué les esprits en lançant une radio en direct sur Youtube, diffusant en direct et en continu de la musique générée par IA (lire Qant du 20 décembre 2022).
Au moment de présenter son outil, Stability a illustré la manière dont il répond à plusieurs problèmes que rencontrent d’ordinaire les modèles générateurs de musique par IA. Le premier est qu’ils sont le plus souvent formés pour générer des extraits musicaux de taille fixe. Le second, que les modèles de diffusion audio sont souvent entraînés avec des morceaux audios coupés au hasard au milieu de fichiers plus longs. Dès lors, les morceaux générés sont des morceaux aléatoires de chansons, coupés brutalement au début ou à la fin.
Stable Audio permet de réaliser de courts morceaux rassemblant plusieurs instruments, mais aussi des solos, ou encore des bruitages. A noter qu’il ne propose pas de chants générés par IA.
L’outil de Stability fonctionne de la même manière qu’un générateur d’images, c’est-à-dire avec un prompt que l’on va devoir rendre le plus précis possible pour obtenir le résultat désiré. Les détails donnés peuvent concerner les instruments utilisés, l’atmosphère souhaitée, ou bien le rythme en indiquant le nombre de BPM (battements par minute). A noter que la version gratuite de Stable Studio permet de créer des morceaux entre 0 et 45 secondes, alors que la version payante à 12 dollars par mois permet de monter jusqu’à 90 secondes.
Nous commençons par générer un morceau de musique « country » utilisant une guitare acoustique, un banjo, un violon, et un harmonica. Le tempo désiré est de 130 BPM. Voilà le prompt donné à Stable Audio, à qui il est demandé de produire une musique de 45 secondes :
Country music, guitar, banjo, fiddle, harmonica, 130 BMP, lively, traditional country music, catchy, memorable, country twang, contemporary harmonies
Contrairement à ce que proposait en décembre dernier la radio de Stability, le résultat est cette fois audible et même harmonieux, et coche toutes les cases du prompt. Le style country est reconnaissable, ainsi que les différents instruments demandés.
Voyons maintenant ce que donne un morceau ne mobilisant qu’un seul instrument, par exemple le piano. Nous demandons à Stable Audio de réaliser un solo de piano dans le style de Mozart, toujours d’une durée de 45 secondes.
Piano, melancholic, Mozart style, slow, expressive tempo, delicate dynamics, emotional depth, intricate melodies, sense of longing and introspection, poignant
Là encore, le résultat est mélodieux, et l’outil est parvenu à effectuer des changements de rythmes et de mélodies en 45 secondes. Chacun jugera s’il entend dans cet extrait le génie du compositeur.
Pour finir ce banc d’essai, essayons maintenant de faire réaliser un bruitage à Stable Audio. Par exemple, le bruit d’une sirène d’ambulance. Le prompt est cette fois extrêmement simple : “Ambulance siren”. Il est demandé à l’outil un fichier audio de 15 secondes.
Cette fois, le résultat est complètement manqué. Le son produit n’a rien à voir avec une sirène d’ambulance, et est même difficilement audible. La conclusion de ce rapide banc d’essai est donc que Stable Audio répond présent sur la création de musique, mais peut encore être victime d’hallucinations dans la réalisation de bruitages. À noter que pour les utilisateurs payants de Stable Audio, il est possible d’utiliser les musiques créées à des fins commerciales.
Pour en savoir plus :
Source archive Kessel : https://qant.kessel.media/posts/pst_1536999ed342480b8db4e22fa90c539c
