Kontrast, Aufmerksamkeit und Diffusion zur Dekodierung hochaufgelöster Bilder aus Gehirnaktivitäten

Die Dekodierung visueller Reize aus durch funktionelle Magnetresonanztomografie (fMRT) aufgezeichneten neuronalen Antworten stellt einen faszinierenden Schnittpunkt zwischen kognitiver Neurowissenschaft und maschinellem Lernen dar, der Fortschritte im Verständnis der menschlichen visuellen Wahrnehmung und im Aufbau nicht-invasiver Gehirn-Computer-Schnittstellen verspricht. Allerdings ist die Aufgabe aufgrund der rauschartigen Natur von fMRT-Signalen und der komplexen Muster der visuellen Gehirndarstellungen herausfordernd. Um diese Herausforderungen zu mindern, stellen wir ein zweiphasiges fMRT-Darstellungslernframework vor.In der ersten Phase wird ein fMRT-Feature-Lerner mit einem vorgeschlagenen Double-contrastive Mask Auto-encoder prätrainiert, um geräuschreduzierte Darstellungen zu lernen. In der zweiten Phase wird der Feature-Lerner so angepasst, dass er sich den für die visuelle Rekonstruktion am informativstenen neuronale Aktivierungsmustern widmet, geleitet von einem Bild-Auto-encoder. Der optimierte fMRT-Feature-Lerner konditioniert dann ein latentes Diffusionsmodell, um Bildreize aus Gehirnaktivitäten zu rekonstruieren.Experimentelle Ergebnisse zeigen die Überlegenheit unseres Modells bei der Generierung hochaufgelöster und semantisch genauer Bilder, wobei es in der 50-Weg-Top-1-Semantikklassifikationsgenauigkeit um 39,34 % deutlich über frühere Stand-of-the-Art-Methoden hinausgeht. Unsere Forschung lädt zur weiteren Erforschung des Potenzials dieser Dekodieraufgabe ein und trägt zur Entwicklung nicht-invasiver Gehirn-Computer-Schnittstellen bei.