Stable Diffusion : L’IA qui lit désormais dans les pensées


  • FrançaisFrançais

  • Des chercheurs montrent comment Stable Diffusion peut lire dans les pensées. Cette méthode reconstruit des images à partir de scans d’IRM avec une précision incroyable.


    Suivez-nous sur notre page Facebook et notre canal Telegram

    Des chercheurs montrent comment Stable Diffusion peut lire dans les pensées. Cette méthode reconstruit des images à partir de scans d'IRM avec une précision incroyable.

    Depuis des années, les chercheurs utilisent des modèles d’IA pour décoder les informations provenant du cerveau humain. La plupart des méthodes impliquent l’utilisation d’images d’IRM préenregistrées en tant qu’entrée pour un modèle d’IA génératif de texte ou d’images.

    Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊

    Par exemple, au début de l’année 2018, un groupe de chercheurs japonais a démontré comment un réseau de neurones reconstruisait des images à partir d’enregistrements d’IRM. En 2019, un groupe a reconstruit des images à partir de neurones de singe, et le groupe de recherche de Meta, dirigé par Jean-Remi King, a publié de nouveaux travaux qui permettent d’extraire du texte à partir de données d’IRM.

    En octobre 2022, une équipe de l’Université du Texas à Austin a montré que les modèles GPT peuvent déduire le texte qui décrit le contenu sémantique qu’une personne a vu dans une vidéo à partir de scans d’IRM.

    En novembre 2022, des chercheurs de l’Université nationale de Singapour, de l’Université chinoise de Hong Kong et de l’Université Stanford ont utilisé MinD-Vis pour montrer comment les modèles de diffusion, qui alimentent les modèles d’IA générative actuels tels que Stable Diffusion, DALL-E et Midjourney, peuvent reconstruire des images à partir de scans d’IRM avec une précision nettement supérieure aux approches disponibles à l’époque.

    Stable Diffusion peut reconstruire les images dans le cerveau

    Des chercheurs de l’École supérieure de biosciences de pointe de l’Université d’Osaka et de CiNet, NICT, au Japon, utilisent désormais un modèle de diffusion – plus précisément, Stable Diffusion – pour reconstruire des expériences visuelles à partir de données d’IRM.

    Ce faisant, l’équipe élimine la nécessité de former et d’ajuster des modèles d’IA complexes. Tout ce qui doit être formé sont des modèles linéaires simples qui mappent les signaux d’IRM des régions visuelles basses et hautes du cerveau sur les composants individuels de Stable Diffusion.

    Les chercheurs cartographient les régions cérébrales en tant qu’entrées dans les encodeurs d’images et de texte. Les régions cérébrales inférieures sont mappées sur l’encodeur d’images et les régions cérébrales supérieures sont mappées sur l’encodeur de texte. Cela permet au système d’utiliser la composition d’images et le contenu sémantique pour la reconstruction, selon les chercheurs.

    Les chercheurs utilisent Stable Diffusion pour reconstruire une série d'images vues par des sujets dans des scanners IRM. | Image : Tagaki et al.

    Les chercheurs utilisent Stable Diffusion pour reconstruire une série d’images vues par des sujets dans des scanners IRM. | Image : Tagaki et al.

    Les chercheurs utilisent des images d’IRM de l’ensemble de données de scènes naturelles (NSD) pour leur expérience et testent s’ils peuvent utiliser Stable Diffusion pour reconstruire ce que les sujets ont vu.

    Une meilleure compréhension de Stable Diffusion

    Ils démontrent que la combinaison du décodage d’images et de texte fournit la reconstruction la plus précise. Selon l’équipe, il existe des différences de précision entre les sujets, mais celles-ci sont corrélées à la qualité des images d’IRM, affirment-ils.

    Des chercheurs montrent comment Stable Diffusion peut lire dans les pensées. Cette méthode reconstruit des images à partir de scans d'IRM avec une précision incroyable.

    La reconstruction par Stable Diffusion avec uniquement des régions cérébrales basses (z), exclusivement hautes (c) et en combinaison. | Image : Tagaki et al.

    Selon l’équipe, la qualité des reconstructions est comparable aux meilleures méthodes actuelles, mais sans la nécessité de former les modèles d’IA utilisés là-bas.

    Inversement, l’équipe utilise également des modèles dérivés des données d’IRM pour étudier des blocs de construction individuels de Stable Diffusion, tels que la génération de contenu sémantique dans le processus de diffusion inverse ou les processus qui se produisent dans le U-Net.

    De plus, l’équipe interprète quantitativement les transformations d’images à différents stades de la diffusion. De cette manière, les chercheurs visent à contribuer à une meilleure compréhension des modèles de diffusion d’un point de vue biologique, qui sont largement utilisés mais encore mal compris.

    Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊

    Houssen Moshinaly

    Rédacteur en chef d'Actualité Houssenia Writing. Rédacteur web depuis 2009.

    Blogueur et essayiste, j'ai écrit 9 livres sur différents sujets comme la corruption en science, les singularités technologiques ou encore des fictions. Je propose aujourd'hui des analyses politiques et géopolitiques sur le nouveau monde qui arrive. J'ai une formation de rédaction web et une longue carrière de prolétaire.

    Pour me contacter personnellement :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *