ControlNet avec Stable Diffusion, une révolution dans les images par IA

Que ce soit Stable Diffusion ou Midjourney, on avait des problèmes majeurs. Même si les images étaient d’une excellente qualité avec cette ambiance de rêverie propre à l’IA, le résultat final était assez plat. Et l’autre gros problème était l’absence de paramètres pointus afin de mieux contrôler l’image.

C’est désormais de l’histoire ancienne avec ControlNet qui est un réseau de neurones qu’on va ajouter à Stable Diffusion. Selon sa page Github, ControlNet est une méthode pour contrôler les modèles de diffusion tout en évitant la destruction du modèle original lors de l’entraînement avec de petites quantités de données. Cette méthode utilise des copies “verrouillées” et “entraînables” des poids de réseau de neurones pour ajouter des conditions supplémentaires.

Cela permet également un entraînement sur des appareils de petite taille ou personnels, et facilite la fusion, le remplacement et le décalage de modèles, de poids, de blocs et de couches.

Au delà du jargon technique, il a déjà des applications bien réelles puisque les chercheurs proposent des modèles déjà entrainés afin qu’on puisse appliquer directement ces réglages supplémentaires. Notez que ces modèles pèsent leurs poids puisqu’il y en a 7 et chacun pèse de plus de 5 Go. Même si des versions alternatives ont été créé par la communauté et qui ne “pèsent” que 723 Mo chacun.

Les possibilités infinies avec ControlNet

ControlNet propose  9 réglages différents qui sont les suivants :

Canny Edge

Canny Edge dans ControlNet de Stable Diffusion

C’est un réglage qui permet de détecter les contours d’une image. C’est très important, car cela nous permet d’éviter cette impression “flat” de l’image. Ainsi, on peut prendre une photo et la transformer en version esquisse ou crayonnée pour pouvoir travailler avec.

Les lignes M-LSD

Lignes M-LSD de ControlNet dans Stable Diffusion

C’est aussi une détection de contours, mais pour les lignes droites. C’est surtout valable pour les images de building et de paysages. Cela possède son potentiel en architecture.

Le HED Boundary

Le HED Boundary de ControlNet dans Stable Diffusion

C’est une méthode de détection de contours qui peut être utilisée pour segmenter des images en différents objets. Par exemple, on peut l’utiliser pour coloriser certaines parties de l’image, mais aussi pour lui ajouter du style.

Scribbles

Le Scribble de ControlNet dans Stable Diffusion

Ce réglage là est vraiment génial, car elle prend une esquisse, même grossière et elle peut la transformer en une image d’excellente qualité. Par exemple, si vous êtes nul en dessin, vous dessinez un cheval à l’arrache, vous fournissez la prompt d’un cheval et ControlNet via Scribbles se charge de le transformer en oeuvre d’art.

Ce qui est encore plus cool est que les extensions pour Stable Diffusion propose une zone de dessin pour Scribbles. Vous pouvez dessiner avec votre souris et l’IA se charge du reste.

Fake Scribbles

Le Fake Scribble de ControlNet dans Stable Diffusion

Si vous êtes trop paresseux, même pour dessiner des esquisses, alors pas de problème, Fake Scribbles entre en scène. Grosso merdo, c’est une combinaison de Canny et de Scribble.

Il va prendre une image pour en faire une esquisse grossière et ensuite utiliser cette dernière pour créer une belle image.

Human Pose

Human Pose de ControlNet dans Stable Diffusion

Et évidemment, c’est le réglage “Human Pose” qui fait que ControlNet est le sujet le plus parlé de Stable Diffusion et des IA d’images, ces 10 derniers jours. Il vous permet d’appliquer n’importe quelle pose, que vous fournissez en entrée, à n’importe quelle image.

Par exemple, vous prenez la position de lotus du Bouddha et vous l’appliquez à une photo de vous en position debout et vous vous retrouverez magiquement dans la position du lotus. Et la pose est parfaite sans aucune déformation !

Semantic Segmentation

La Semantic Segmentation de ControlNet dans Stable Diffusion

La segmentation sémantique est une technique qui permet de reconnaître et de séparer différents objets ou parties d’une image. Cela se fait en utilisant des ordinateurs pour “étiqueter” chaque pixel de l’image avec une catégorie spécifique qui correspond à ce qu’il représente, par exemple une voiture, un arbre, une personne, etc.

Cette technique est utilisée pour aider les ordinateurs à comprendre les images comme le font les humains et peut être utilisée dans de nombreux domaines différents, comme la conduite autonome, la reconnaissance d’objets et la surveillance de la sécurité.

Depth

Le Depth de ControlNet dans Stable Diffusion

C’était aussi une fonction très attendue dans Stable Diffusion. La possibilité d’ajouter de la profondeur à l’image. Stable Diffusion avait déjà des genres de map de profondeur, mais elles étaient uniquement de 64 x 64 pixels, ControlNet propose des versions de 512 x 512.

Normal Map

La Normal Map de ControlNet dans Stable Diffusion

Pour ceux qui font de la 3D et du Game Design, ils connaissent la normal map qui est une texture spéciale utilisée dans les graphismes 3D pour simuler l’apparence de la surface d’un objet de manière plus réaliste. Eh bien, c’est désormais disponible dans Stable Diffusion.

Anime Line Drawing (non encore disponible)

L’Anime Line Drawing, un modèle d’exemple sur les possibilités de ControlNet dans Stable Diffusion (non publié pour le moment)

Et en utilisant tous les modèles ci-dessus, les joyeux farceurs de ControlNet ont créé leur propre modèle pour dessiner des mangas. Se basant sur des considérations “éthiques”, ils ne l’ont pas rendu public pour le moment. Mais grosso modo, cela permet d’avoir une esquisse et d’ajouter de la couleur en quelques secondes.

C’est le travail de base des mangas et des créateurs de bandes dessinées. Pour les mangas en couleur, le mangaka va simplement proposer la version crayonnée et ensuite, une armée de “colorisateurs” va appliquer la couleur. Et ControlNet vient juste de les rendre obsolètes.

Une réaction instantanée de la communauté

Ce qui est vraiment remarquable avec ControlNet est la réaction foudroyante de la communauté. Le projet originel sur GitHub est apparu la semaine dernière. 3 jours plus tard, on avait déjà des modèles utilisables pour Stable Diffusion. Et encore deux jours plus tard, les modèles ont été allégés pour les rendre encore plus conviviaux.

En une semaine, des milliers d’utilisateurs de Stable Diffusion ont pu installer ControlNet dans leur version locale et s’amuser avec. Sans doute qu’il faudra attendre encore un peu pour qu’il débarque dans les différents services en ligne pour générer des images IA comme Playground IA (en tout cas, je l’espère).

Si vous avez un bon PC, vous pouvez installer Stable Diffusion sur votre machine via des projets comme Automatic1111 ou encore InvokeAI. Le minimum est d’avoir une carte graphique Nvidia avec 4 Go de Vram, mais il vaut mieux avoir 8 Go pour pouvoir installer d’autres modules.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série