Der expressive leaky Memory Neuron: Ein effizienter und ausdrucksstarker phenomenologischer Neuronenmodell zur Lösung von Langzeit-Aufgaben

Biologische kortikale Neuronen sind bemerkenswert komplexe Recheneinheiten, die ihre umfangreichen synaptischen Eingaben über ein komplexes dendritisches Netzwerk zeitlich integrieren und dabei komplexen, nichtlinear wechselwirkenden internen biologischen Prozessen unterliegen. Eine kürzlich durchgeführte Studie schlug vor, diese Komplexität durch das Anpassen präziser Surrogatmodelle an ein detailliertes biophysikalisches Modell eines kortikalen Pyramidenneurons zu charakterisieren und stellte fest, dass hierfür zeitliche Faltungsnetzwerke (Temporal Convolutional Networks, TCN) mit Millionen von Parametern erforderlich waren. Die Notwendigkeit so vieler Parameter könnte jedoch auf eine Inkompatibilität zwischen den induktiven Vorurteilen der TCN und den Berechnungsmechanismen kortikaler Neuronen zurückzuführen sein. In Anbetracht dieser Überlegung und um die computatio­nellen Implikationen von leaky Memory-Einheiten und nichtlinearer dendritischer Verarbeitung zu untersuchen, stellen wir das Expressive Leaky Memory (ELM)-Neuronmodell vor – ein biologisch inspiriertes phänomenologisches Modell eines kortikalen Neurons. Erstaunlicherweise gelingt es unserem ELM-Neuron, die oben genannte Eingabe-Ausgabe-Beziehung mit unter zehntausend trainierbaren Parametern genau nachzuahmen, indem es langsam abklingende, speicherartige versteckte Zustände sowie eine zweischichtige nichtlineare Integration der synaptischen Eingaben nutzt. Um die computatio­nellen Konsequenzen unseres Neuronenentwurfs weiter zu bewerten, testen wir das Modell auf verschiedenen Aufgaben mit anspruchsvollen zeitlichen Strukturen, darunter die Long Range Arena (LRA)-Datensätze sowie einen neuartigen neuromorphen Datensatz basierend auf dem Spiking Heidelberg Digits-Datensatz (SHD-Adding). Durch die Verwendung einer größeren Anzahl von Memory-Einheiten mit ausreichend langen Zeitskalen und entsprechend komplexer synaptischer Integration zeigt das ELM-Neuron erhebliche Fähigkeiten zur langreichweitigen Verarbeitung und übertrifft auf den LRA-Datensätzen zuverlässig klassische Architekturen wie den Transformer oder Chrono-LSTM. Zudem gelingt es dem Modell, die Pathfinder-X-Aufgabe mit einer Genauigkeit von über 70 % zu lösen (16k Kontextlänge).