OpenAI annonce DALL-E 3, s’intègre directement avec ChatGPT

OpenAI a annoncé la sortie de DALL-E 3, un système de génération d’images par texte qui offre des améliorations significatives par rapport à son prédécesseur et qui est intégré nativement à ChatGPT. Selon OpenAI, cette intégration devrait éliminer le besoin de “prompt engineering”.

DALL-E 3 est capable de générer des images qui suivent fidèlement des consignes complexes. Il peut représenter avec précision une scène avec des objets spécifiques, leurs relations entre eux, et des détails comme les mains humaines ou le texte dans l’image, des faiblesses typiques des systèmes précédents.

DALL-E 3, comme DALL-E 2 et d’autres systèmes du même genre, supporte une variété de styles, allant de l’abstrait artistique au dessin de bande dessinée en passant par le photoréalisme. Le prompt  (en anglais) pour l’image ci-dessous était : “Une illustration d’un avocat assis dans un fauteuil de thérapeute, disant : ‘Je me sens tellement vide à l’intérieur’, avec un trou de la taille d’un noyau au centre. Le thérapeute, une cuillère, griffonne des notes.”

Prompp utilisé dans Dall-E 3 : “An illustration of an avocado sitting in a therapist’s chair, saying, ‘I just feel so empty inside,’ with a pit-sized hole in the center. The therapist, a spoon, scribbles notes”

DALL-E 3 sera une application ChatGPT

Une autre nouveauté est que DALL-E 3 deviendra une application ChatGPT pour les utilisateurs payants de ChatGPT Plus. Selon OpenAI, ChatGPT peut être utilisé comme un partenaire de prompt pour DALL-E 3 pour aider à brainstormer et à optimiser les consignes. Ce dernier point est assez négatif, car Stable Diffusion est disponible en Open Source et certaines plateformes comme Playground AI propose une version gratuite très robuste. Et de nombreuses personnes sont habitués à payer pour Midjourney et Dall-E 3, même s’il est clairement amélioré sur le texte, ne peut pas rivaliser avec les deux précédents.

Prompt dans Dall-E 3 : “An illustration of a human heart made of translucent glass, standing on a pedestal amidst a stormy sea. Rays of sunlight pierce the clouds, illuminating the heart, revealing a tiny universe within. The quote ‘Find the universe within you’ is etched in bold letters across the horizon.”

Si l’image résultante est proche mais pas exactement comme souhaité, l’utilisateur peut la corriger en disant à ChatGPT ce qu’il faut changer. Cette génération d’image conversationnelle devrait réduire le besoin de consignes compliquées, selon OpenAI. La société affirme que le “prompt engineering” compliqué n’est plus nécessaire. OpenAI dit que toutes les images générées par DALL-E 3 sont entièrement possédées par leurs créateurs. Les images peuvent être réutilisées, commercialisées et vendues.

Le lancement de DALL-E 3 dans ChatGPT-Plus, ChatGPT Enterprise et via API est prévu pour octobre. Une version autonome de DALL-E 3 via OpenAI Labs, similaire à DALL-E 2, suivra plus tard cet automne.

OpenAI offre aux artistes une possibilité de se désengager de leur travail – pour un futur modèle

Un changement majeur et une restriction par rapport aux systèmes d’image existants est que DALL-E 3 rejette les consignes qui incluent les noms d’artistes vivants. C’est une méthode populaire dans d’autres systèmes d’image pour donner une direction stylistique au système.

De plus, les artistes ont la possibilité d’exclure leurs images de l’entraînement des futurs modèles d’image d’OpenAI. Cela pourrait signifier que DALL-E 3 est encore entraîné avec ces œuvres d’artistes, ce qui pourrait entraîner des discussions sur le droit d’auteur. OpenAI pourrait être en mesure de fournir des versions mises à jour de DALL-E 3 après une période de désengagement.

Les consignes avec les noms de personnes célèbres devraient également être rejetées pour des raisons de sécurité, pour éviter, par exemple, que des images générées par l’IA de politiciens ne deviennent virales sur les réseaux sociaux, comme cela s’est produit avec Midjourney.

OpenAI prévoit de traiter ces risques et d’autres, comme la sur- ou sous-représentation visuelle, ou le détournement à des fins de propagande, avec des techniques de red-teaming. OpenAI teste également en interne un outil qui peut détecter si une image a été générée avec DALL-E 3.