GPT-4o face aux modèles de diffusion

Image générée par GPT-4o suite au prompt : “Peux tu créer une image dans le style du studio Ghibli pour illustrer cet article” • Qant

Depuis plusieurs années, les outils de création d’images par intelligence artificielle reposent en grande majorité sur les modèles dits de diffusion. Midjourney, Stable Diffusion ou Dall-e 3 ont popularisé cette approche fondée sur un processus de débruitage progressif : l’image est produite en plusieurs étapes, en partant d’un signal purement aléatoire que le modèle affine jusqu’à obtenir un résultat interprétable. Cette méthode, qui repose sur un traitement global de l’image, a permis d’atteindre une qualité visuelle notable et une grande variété stylistique.

Avec GPT-4o, OpenAI introduit une approche radicalement différente. L’image n’est plus générée comme un tout, mais composée pas à pas, pixel par pixel, selon une logique similaire à celle utilisée pour la génération de texte. Chaque pixel est inféré en tenant compte des précédents, et réinjecté dans la fenêtre de contexte du modèle pour orienter les prédictions suivantes. Ce fonctionnement auto-régressif, qui découle de l’architecture transformer, permet une génération très précise des détails locaux.