HyperAIHyperAI

Command Palette

Search for a command to run...

vor 20 Tagen

Brain-IT: Bildrekonstruktion aus fMRT mittels Brain-Interaction-Transformer

Roman Beliy Amit Zalcher Jonathan Kogman Navve Wasserman Michal Irani

Brain-IT: Bildrekonstruktion aus fMRT mittels Brain-Interaction-Transformer

Abstract

Die Rekonstruktion von Bildern, die Menschen sehen, aus ihren fMRT-Aufzeichnungen bietet einen nicht-invasiven Einblick in das menschliche Gehirn. Trotz neuerer Fortschritte durch Diffusionsmodelle weisen derzeit gängige Verfahren oft eine geringe Treue gegenüber den tatsächlich gesehenen Bildern auf. Wir präsentieren „Brain-IT“, einen gehirninspirierten Ansatz, der diese Herausforderung mithilfe eines Brain Interaction Transformers (BIT) bewältigt, der effektive Wechselwirkungen zwischen funktionell ähnlichen Gruppen von Gehirnvoxeln ermöglicht. Diese funktionellen Cluster sind bei allen Probanden gemeinsam und dienen als Bausteine zur Integration von Informationen innerhalb und zwischen Gehirnen. Alle Modellkomponenten werden von allen Clustern und Probanden gemeinsam genutzt, was eine effiziente Trainingsdurchführung mit begrenzten Datensätzen ermöglicht. Um die Bildrekonstruktion zu leiten, prognostiziert der BIT zwei komplementäre, lokalisierte Merkmale auf Patch-Ebene: (i) hochwertige semantische Merkmale, die das Diffusionsmodell in Richtung des korrekten semantischen Inhalts des Bildes lenken; und (ii) niedrigwertige strukturelle Merkmale, die den Diffusionsprozess mit der korrekten groben Anordnung des Bildes initialisieren. Die Architektur des BIT ermöglicht einen direkten Informationsfluss von den Gehirnvoxel-Clustern zu den lokalisierten Bildmerkmalen. Aufgrund dieser Prinzipien erreicht unser Ansatz eine Treue bei der Rekonstruktion von fMRT-basierten Bildern, die den gesehenen Bildern entspricht, und übertrifft aktuelle State-of-the-Art-Methoden sowohl visuell als auch hinsichtlich etablierter objektiver Metriken. Zudem erzielen wir mit lediglich einer Stunde fMRT-Daten eines neuen Probanden Ergebnisse, die denen derzeitiger Methoden entsprechen, die auf umfassenden 40-stündigen Aufnahmen trainiert wurden.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Brain-IT: Bildrekonstruktion aus fMRT mittels Brain-Interaction-Transformer | Forschungsarbeiten | HyperAI