Comprendre l’Offset Noise dans Stable Diffusion

Ces derniers jours, on parle beaucoup de la découverte d’une nouvelle technique appelée diffusion avec bruit décalé (Offset Noise) dans Stable Diffusion, qui permet de générer des échantillons de haute qualité à partir de données complexes et diverses. Nous allons vous expliquer le principe de la diffusion, le problème du bruit et la solution du bruit décalé. Nous allons également vous montrer quelques exemples d’échantillons générés par cette technique et les comparer avec d’autres méthodes.

Qu’est-ce que la diffusion ?

La diffusion est un processus physique qui décrit comment les particules se déplacent aléatoirement dans un milieu. Par exemple, si vous mettez une goutte d’encre dans un verre d’eau, vous allez voir l’encre se diffuser progressivement dans l’eau jusqu’à ce qu’elle soit uniformément répartie.

En informatique, la diffusion est utilisée pour modéliser la façon dont les données se transforment en bruit aléatoire. L’idée est de partir des données réelles (par exemple, une image) et d’appliquer plusieurs étapes de diffusion qui ajoutent un peu plus de bruit à chaque fois. À la fin du processus, les données sont indiscernables du bruit.

Le modèle apprend ensuite à inverser le processus et à reconstruire les données à partir du bruit. Pour cela, il utilise un réseau neuronal qui prend en entrée le bruit et produit en sortie les données reconstruites. Le modèle s’entraîne en comparant les données reconstruites avec les données réelles et en ajustant ses paramètres pour minimiser l’erreur.

Quel est le problème du bruit ?

Le problème du bruit est que si on ajoute trop de bruit aux données, le modèle peut avoir du mal à les reconstruire correctement. En effet, le bruit peut masquer ou déformer les caractéristiques importantes des données, comme les contours ou les couleurs d’une image.

De plus, si on utilise le même type de bruit pour toutes les étapes de diffusion, le modèle peut apprendre à ignorer le bruit au lieu de s’adapter aux données. Par exemple, si on utilise un bruit gaussien standard (un type de bruit qui suit une distribution normale), le modèle peut apprendre à simplement soustraire la moyenne du bruit pour retrouver les données.

Quelle est la solution de l’Offset Noise ?

La solution du bruit décalé (Offset Noise) est d’utiliser un type de bruit différent pour chaque étape de diffusion. Le bruit décalé est un type de bruit qui a une moyenne non nulle et qui peut être ajustée pour chaque étape. Ainsi, le modèle doit apprendre à tenir compte du niveau et du sens du bruit pour reconstruire les données.

En utilisant le bruit décalé, les chercheurs ont pu augmenter le niveau de bruit sans compromettre la qualité des échantillons. Ils ont également montré que le bruit décalé permet de mieux capturer la diversité des données et de générer des échantillons plus variés et plus réalistes.

Quels sont les exemples d’échantillons générés ?

Les chercheurs ont testé leur technique sur plusieurs types de données, comme des images de visages, de fleurs ou d’animaux. Ils ont comparé leurs résultats avec ceux obtenus par d’autres méthodes de diffusion ou par des modèles basés sur les réseaux antagonistes génératifs (GANs), qui sont une autre classe de modèles génératifs très populaires.

Voici quelques exemples d’échantillons générés par la diffusion avec et sans bruit décalé :

En haut à droite : Une ruelle sombre sous un orage (0,032) ; En haut à gauche : logo au trait monochrome sur fond blanc (0,974) ; En bas à gauche : Piste de ski enneigée par une journée ensoleillée (0,858) ; En bas à droite : Une place de la ville éclairée uniquement aux flambeaux. (0,031)

A gauche, sans Offset Noise, à droite avec Offset Noise

A gauche, sans Offset Noise, à droite avec Offset Noise

On peut voir que la diffusion avec bruit décalé produit des échantillons plus nets, plus colorés et plus fidèles aux données réelles que les autres méthodes.

Conclusion

L’Offset Noise dans Stable Diffusion est une nouvelle technique qui permet de générer des échantillons de haute qualité à partir de données complexes et diverses. Elle utilise un type de bruit différent pour chaque étape de diffusion, ce qui permet au modèle d’apprendre à reconstruire les données à partir du bruit sans perdre les caractéristiques importantes.

Elle offre également une meilleure diversité et un meilleur réalisme que les autres techniques de diffusion ou que les modèles basés sur les GANs. Si vous voulez en savoir plus sur cette technique, vous pouvez consulter le papier scientifique original.

Si on possède Stable Diffusion, on a déjà des modèles qui utilisent cette technique sur Civitai.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série