Entschlüsselung und Interpretation kortikaler Signale mit einem kompakten Faltungsneuralen Netzwerk

Zielsetzung. Gehirn-Computer-Schnittstellen (BCIs) decodieren Informationen aus neuronaler Aktivität und übertragen sie auf externe Geräte. Die Anwendung von Deep-Learning-Ansätzen zur Decodierung ermöglicht eine automatische Merkmalsauswahl innerhalb des spezifischen Decodierungstasks. Eine physiologisch plausibel interpretierbare Struktur der Netzwerkparameter gewährleistet die Robustheit der gelernten Entscheidungsregeln und eröffnet die vielversprechende Möglichkeit der automatischen Entdeckung wissenschaftlicher Erkenntnisse. Vorgehensweise. Wir beschreiben eine kompakte, auf Faltungsnetzwerken basierende Architektur zur adaptiven Decodierung von Elektrokortikographie-(ECoG-)Daten in Fingerkinematik. Außerdem präsentieren wir einen neuartigen, theoretisch fundierten Ansatz zur Interpretation räumlicher und zeitlicher Gewichte in Architekturen, die sowohl räumliche als auch zeitliche Anpassung kombinieren. Die gewonnenen räumlichen und Frequenzmuster, die die neuronalen Populationen charakterisieren, die für den spezifischen Decodierungsauftrag entscheidend sind, können anschließend durch Anpassung geeigneter räumlicher und dynamischer Modelle interpretiert werden. Hauptergebnisse. Zunächst validierten wir unsere Lösung anhand realistischer Monte-Carlo-Simulationen. Anschließend wurde die Architektur auf ECoG-Daten aus dem Berlin BCI-Wettbewerb IV angewendet und zeigte eine Leistung, die den Gewinnern des Wettbewerbs vergleichbar war, ohne dass explizite Merkmalsauswahl erforderlich war. Mittels des vorgeschlagenen Ansatzes zur Interpretation der Netzwerkgewichte konnten wir die räumlichen und spektralen Muster der neuronalen Prozesse aufdecken, die der erfolgreichen Decodierung der Fingerkinematik aus einem ECoG-Datensatz zugrunde liegen. Schließlich wurde der gesamte Analyseprozess auch auf ein 32-Kanal-EEG-Datenset zur motorischen Imagination angewendet, wobei physiologisch plausibel interpretierbare Muster im Zusammenhang mit der Aufgabe identifiziert wurden. Bedeutung. Wir haben eine kompakte und interpretierbare CNN-Architektur vorgestellt, die auf grundlegenden Prinzipien beruht und das Wissen aus dem Bereich der neuronalen Elektrophysiologie integriert. Erstmals in einem Kontext solcher mehrästiger Architekturen mit faktorisierter räumlicher und zeitlicher Verarbeitung präsentieren wir theoretisch fundierte Regeln zur Interpretation der Gewichte. Wir haben unsere Vorgehensweisen anhand von Simulationen und echten Daten validiert und gezeigt, dass die vorgeschlagene Lösung nicht nur eine gute Decodierung ermöglicht, sondern auch ein wertvolles Werkzeug zur Untersuchung der neuronalen Mechanismen der motorischen Steuerung darstellt.