HyperAIHyperAI

Command Palette

Search for a command to run...

Contraste, Attention et Diffusion pour Décoder des Images à Haute Résolution à partir des Activités Cérébrales

Jingyuan Sun† Zijiao Chen Shaonan Wang Mingxiao Li† Yunhao Zhang Marie-Francine Moens‡

Résumé

La décodification de stimuli visuels à partir des réponses neuronales enregistrées par l'imagerie par résonance magnétique fonctionnelle (fMRI) représente une intersection fascinante entre la neurosciences cognitives et l'apprentissage automatique, promettant des avancées dans la compréhension de la perception visuelle humaine et la construction d'interfaces cerveau-machine non invasives. Cependant, cette tâche est complexe en raison de la nature bruyante des signaux fMRI et du motif intricate des représentations visuelles cérébrales. Pour atténuer ces défis, nous présentons un cadre d'apprentissage de représentation fMRI en deux phases. La première phase pré-entraîne un apprenant de caractéristiques fMRI avec un auto-encodeur masqué doublement contrastif proposé pour apprendre des représentations débruitées. La deuxième phase affine l'apprenant de caractéristiques afin qu'il se concentre sur les motifs d'activation neuronale les plus informatifs pour la reconstruction visuelle, guidé par un auto-encodeur d'image. L'apprenant de caractéristiques fMRI optimisé conditionne ensuite un modèle de diffusion latente pour reconstruire les stimuli d'images à partir des activités cérébrales.Les résultats expérimentaux montrent la supériorité de notre modèle dans la génération d'images à haute résolution et sémantiquement précises, surpassant considérablement les méthodes précédentes de pointe avec une amélioration de 39,34 % en termes de précision de classification sémantique top-1 sur 50 classes. Notre recherche invite à une exploration plus approfondie du potentiel de cette tâche de décodification et contribue au développement d'interfaces cerveau-machine non invasives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp