HyperAIHyperAI

Command Palette

Search for a command to run...

Kontrast, Aufmerksamkeit und Diffusion zur Dekodierung hochaufgelöster Bilder aus Gehirnaktivitäten

Jingyuan Sun† Zijiao Chen Shaonan Wang Mingxiao Li† Yunhao Zhang Marie-Francine Moens‡

Zusammenfassung

Die Dekodierung visueller Reize aus durch funktionelle Magnetresonanztomografie (fMRT) aufgezeichneten neuronalen Antworten stellt einen faszinierenden Schnittpunkt zwischen kognitiver Neurowissenschaft und maschinellem Lernen dar, der Fortschritte im Verständnis der menschlichen visuellen Wahrnehmung und im Aufbau nicht-invasiver Gehirn-Computer-Schnittstellen verspricht. Allerdings ist die Aufgabe aufgrund der rauschartigen Natur von fMRT-Signalen und der komplexen Muster der visuellen Gehirndarstellungen herausfordernd. Um diese Herausforderungen zu mindern, stellen wir ein zweiphasiges fMRT-Darstellungslernframework vor.In der ersten Phase wird ein fMRT-Feature-Lerner mit einem vorgeschlagenen Double-contrastive Mask Auto-encoder prätrainiert, um geräuschreduzierte Darstellungen zu lernen. In der zweiten Phase wird der Feature-Lerner so angepasst, dass er sich den für die visuelle Rekonstruktion am informativstenen neuronale Aktivierungsmustern widmet, geleitet von einem Bild-Auto-encoder. Der optimierte fMRT-Feature-Lerner konditioniert dann ein latentes Diffusionsmodell, um Bildreize aus Gehirnaktivitäten zu rekonstruieren.Experimentelle Ergebnisse zeigen die Überlegenheit unseres Modells bei der Generierung hochaufgelöster und semantisch genauer Bilder, wobei es in der 50-Weg-Top-1-Semantikklassifikationsgenauigkeit um 39,34 % deutlich über frühere Stand-of-the-Art-Methoden hinausgeht. Unsere Forschung lädt zur weiteren Erforschung des Potenzials dieser Dekodieraufgabe ein und trägt zur Entwicklung nicht-invasiver Gehirn-Computer-Schnittstellen bei.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kontrast, Aufmerksamkeit und Diffusion zur Dekodierung hochaufgelöster Bilder aus Gehirnaktivitäten | Paper | HyperAI