Contraste, Attention et Diffusion pour Décoder des Images à Haute Résolution à partir des Activités Cérébrales

La décodification de stimuli visuels à partir des réponses neuronales enregistrées par l'imagerie par résonance magnétique fonctionnelle (fMRI) représente une intersection fascinante entre la neurosciences cognitives et l'apprentissage automatique, promettant des avancées dans la compréhension de la perception visuelle humaine et la construction d'interfaces cerveau-machine non invasives. Cependant, cette tâche est complexe en raison de la nature bruyante des signaux fMRI et du motif intricate des représentations visuelles cérébrales. Pour atténuer ces défis, nous présentons un cadre d'apprentissage de représentation fMRI en deux phases. La première phase pré-entraîne un apprenant de caractéristiques fMRI avec un auto-encodeur masqué doublement contrastif proposé pour apprendre des représentations débruitées. La deuxième phase affine l'apprenant de caractéristiques afin qu'il se concentre sur les motifs d'activation neuronale les plus informatifs pour la reconstruction visuelle, guidé par un auto-encodeur d'image. L'apprenant de caractéristiques fMRI optimisé conditionne ensuite un modèle de diffusion latente pour reconstruire les stimuli d'images à partir des activités cérébrales.Les résultats expérimentaux montrent la supériorité de notre modèle dans la génération d'images à haute résolution et sémantiquement précises, surpassant considérablement les méthodes précédentes de pointe avec une amélioration de 39,34 % en termes de précision de classification sémantique top-1 sur 50 classes. Notre recherche invite à une exploration plus approfondie du potentiel de cette tâche de décodification et contribue au développement d'interfaces cerveau-machine non invasives.