Entschlüsselung der Fingertrajektorie aus ECoG mittels Deep Learning

Zielsetzung. Der herkömmliche Decodierungs-Pipeline für Brain-Machine-Interfaces (BMIs) besteht aus einer Kette mehrerer aufeinanderfolgender Stufen, darunter Merkmalsextraktion, Zeit-Frequenz-Analyse und statistische Lernmodelle. Jede dieser Stufen verwendet einen unterschiedlichen Algorithmus, der sequenziell trainiert wird, was die Anpassungsfähigkeit des gesamten Systems erschwert. Ziel war es, ein adaptives Online-System mit einer einzigen Zielfunktion und einem einzigen Lernalgorithmus zu entwickeln, sodass der gesamte Prozess parallel trainiert werden kann, um die Decodierleistung zu steigern. Hierbei setzten wir tiefe neuronale Netze ein, bestehend aus konvolutionellen neuronalen Netzen (CNN) und einer speziellen Art rekurrenter neuronalen Netze (RNN), dem Long Short-Term Memory-Netzwerk (LSTM), um diesen Ansprüchen gerecht zu werden.Vorgehensweise. Wir verwendeten Elektrokortikographie-(ECoG-)Daten, die von Kubanek et al. gesammelt wurden. Die Aufgabe bestand aus individuellen Fingerbeugungen auf visuelle Signale hin. Unser Modell kombinierte einen hierarchischen Merkmalsextraktor in Form einer CNN und ein RNN, das sequenzielle Daten verarbeiten und zeitliche Dynamiken in den neuronalen Signalen erkennen kann. Die CNN diente als Merkmalsextraktor, während die LSTM als Regressionsalgorithmus eingesetzt wurde, um die zeitlichen Dynamiken des Signals zu erfassen.Hauptergebnisse. Wir prognostizierten die Fingerbewegungstrajektorie anhand von ECoG-Signalen und verglichen die Ergebnisse von Least-Angle-Regression (LARS), CNN-LSTM, Random Forest, einem LSTM-Modell (LSTM_HC, bei Verwendung hard-codierter Merkmale) sowie einer herkömmlichen Decodierpipeline, die aus Bandpass-Filterung, Energieextraktion, Merkmalsauswahl und linearer Regression bestand. Die Ergebnisse zeigten, dass die tiefen Lernmodelle die üblicherweise verwendeten linearen Modelle übertrafen. Die tiefen Lernmodelle lieferten nicht nur glattere und realistischere Trajektorien, sondern lernten auch die Übergänge zwischen Bewegungs- und Ruhezuständen effektiv.Bedeutung. Diese Studie demonstrierte ein Decodierungsnetzwerk für BMI, das ein kombiniertes Modell aus konvolutionellem und rekurrentem neuronalem Netzwerk nutzt. Es integriert den Merkmalsextraktionsprozess direkt in die Konvolution- und Pooling-Schichten und verwendet die LSTM-Schicht, um Zustandsübergänge zu erfassen. Das vorgestellte Netzwerk entfällt die Notwendigkeit, die Modelle an jeder Stufe der Decodierpipeline separat zu trainieren. Der gesamte System kann gemeinsam mittels stochastischem Gradientenabstieg optimiert werden und ist für Online-Lernen geeignet.