Modèle, mon beau modèle, qui a les plus belles mains du royaume ?

Un essai comparatif de Stable Diffusion XL et Midjourney, avec des salles de classe, des visages, et même des mains.

La compétition qui fait rage dans l’IA générative n’a pas épargné la génération d’images. Alors que trois modèles majeurs (Dall-e, Midjourney et Stable Diffusion) semblent s’être démarqués, d’autres pointent le bout de leur nez (Bing Image Creator, Shutterstock, pour ne citer qu’eux). Dès lors, les principaux cadors du secteur multiplient les mises à jour pour tenter de tirer leur épingle du jeu.

Cette semaine, c’est Stability.ai qui a proposé une version béta de la dernière mise à jour de son outil Stable Diffusion, intitulée Stable Diffusion XL (voir Qant du 18 avril). Cette mise à jour apparaît comme plus robuste, avec 2,3 milliards de paramètres contre 900 millions pour la précédente. L’objectif affiché : se rapprocher toujours plus du photoréalisme, domaine dans lequel Midjourney semblait avoir une longueur d’avance. En témoignent les différentes images qui ont trompé l’opinion publique ces dernières semaines, telle celle du pape François en doudoune (voir Qant du 27 mars).

SDXL, qui est disponible gratuitement (du moins pour un nombre limité d’essais) ici, montre des progrès certains. En témoigne par exemple l’image de couverture de cet article, obtenue grâce au prompt “Minimalistic class room with benches, tables, a blackboard on the wall and coats hanging home, colored, high detail, organized and efficient”. Voici ce que donne le même prompt, mais sur la version précédente de Stable Diffusion :

Dans les faits, SDXL comme Midjourney semblent tous les deux permettre d’obtenir des images à la qualité époustouflante, à condition de leur proposer les bons prompts. Stable Diffusion XL parvient effectivement à supplanter son rival en un point précis : l’incrustation de texte sur ces images. Voici par exemple ce que propose Midjourney lorsqu’on lui demande un tableau de salle classe avec écrit “école” sur celui-ci :

Et lorsqu’on donne le même prompt (a blackboard in a classroom, with the word « school » written on it) à Stable Diffusion XL, la magie opère :

Des erreurs demeurent parfois, notamment quand le texte demandé est trop long mais l’accomplissement est notable.

Coup de main

SDXL ne parvient cependant pas à supplanter Midjourney sur tous les plans. En témoigne un autre détail souvent noté par les utilisateurs des différents outils : les mains, souvent mal représentées par l’IA. Cela tient à la manière dont les modèles sont entraînés : sur les photos, les mains sont toujours dans des positions différentes, et souvent partiellement masquées par un objet. De quoi empêcher le robot de se faire une idée précise de ce à quoi ressemble une main. Ainsi s’expliquent les mains à quatre ou six doigts que l’on retrouve souvent sur les images générées par IA. Midjourney v5 a réussi à surmonter ce défi. Voilà par exemple ce que l’on obtient grâce au prompt : “street style medium shot of a beautiful 30 year old woman with big blue eyes, long lashes, and pale skin, her lips are well-defined, she shows the ring on of her finger, high cheekbones and a straight nose” :

Au-delà du caractère photo réaliste de la photo, on remarque également que la main de la jeune femme est parfaitement réalisée, avec des doigts au nombre de cinq, et à la forme parfaite. Donnons maintenant le même prompt à Stable Diffusion XL :

Si le visage est impressionnant de réalisme, on est forcé de remarquer les imperfections de la main de la jeune femme. Mais il est important de rappeler que la version de SDXL rendue publique n’est qu’une beta, et qu’elle a encore le temps de s’améliorer avant sa sortie officielle. Le mot de la fin est sans doute que l’important n’est pas nécessairement l’outil, mais le prompt que vous lui donnez.

M. de R.