ControlNet, Stable Diffusion sous stéroïdes

Les modèles d’IA générateurs d’images possèdent chacun des moyens d’améliorer la précision des images obtenues par rapport au souhait de l’auteur du prompt. Si Midjourney peut s’apprivoiser grâce à des formules glissées dans le prompt (cf. Qant Expert du 3 mars*), Stable Diffusion bénéficie lui d’un nouveau réseau neuronal, Controlnet, développé par des chercheurs de Stanford. *

Modifier et améliorer au choix les résultats obtenus grâce à Stable Diffusion, pour arriver rapidement à un résultat optimal, en parfaite adéquation avec le souhait de départ : c’est la volonté affichée de ControlNet, une extension de Stable Diffusion développée par Lvmin Zhang et Maneesh Agrawal, deux chercheurs de l’université de Stanford. ControlNet est un réseau neuronal qui donne accès à différents modèles de génération, de manière à donner à chaque utilisateur le plus de contrôle sur l’image finalement obtenue grâce à Stable Diffusion.

Les possibilités offertes par ControlNet sont diverses. Vous avez du mal à verbaliser l’image que vous souhaitez, et préférez la dessiner ? A l’aide d’un croquis très simple et potentiellement d’un prompt, ControlNet va deviner l’image que vous souhaitez obtenir.

Le modèle va même plus loin, en proposant de réaliser un schéma de l’image souhaitée, en indiquant les différents composants de celle-ci, ainsi que leur emplacement, comme dans l’exemple ci-dessous issue du papier publié par Lvmin Zhang et Maneesh Agrawala.

Autre pan des possibilités offertes par ControlNet, la correction d’image. Plus précisément, ControlNet permet de préciser quelle partie de l’image doit être conservée et laquelle doit être modifiée, et quelles modifications doivent être opérées. Imaginez par exemple que vous avez demandé à Stable Diffusion de générer un portrait d’une jeune femme pour une publicité. Le visage vous convient, mais la coupe de cheveux n’est pas adaptée. Il est alors facile de modifier la coupe de cheveux, en gardant le même visage qu’initialement.

Cela permet notamment de modifier des erreurs souvent réalisées par les modèles d’IA génératives comme par exemple les mains, qui sont souvent mal représentées par l’IA. Mais l’une des options qui a attiré l’œil est la possibilité de modifier la lumière et l’éclairage des photos, pour permettre des jeux d’ombres, permettant à terme de créer des animations.

Contrairement à Stable Diffusion, ControlNet n’est pas accessible à tous. Il demande en effet d’avoir un ordinateur suffisamment puissant (avec une carte graphique d’au moins 4 à 8 Go de VRAM). Si tel est votre cas, un GitHub est disponible ici. Le cas échéant, il est toujours possible de se consoler en admirant le travail d’un utilisateur de Twitter nommé @fofrAI, qui a détourné plusieurs logos de marques célèbres grâce à ControlNet.

Vous pouvez accéder au papier original de Lvmin Zhang et Maneesh Agrawala en cliquant ici, ou bien au GitHub de ControlNet en cliquant ici.

M. de R.