RNNs von RNNs: Rekursive Konstruktion stabiler Assemblen rekurrenter Neuronaler Netze

Rekurrente Neuronale Netze (RNNs) werden in der Neurowissenschaft häufig als Modelle für lokale neuronale Aktivität eingesetzt. Viele Eigenschaften einzelner RNNs sind theoretisch gut charakterisiert, doch die experimentelle Neurowissenschaft hat sich in Richtung des Studiums mehrerer interagierender Bereiche bewegt, und die Theorie der RNNs muss entsprechend erweitert werden. Wir nehmen einen konstruktiven Ansatz für dieses Problem, indem wir Werkzeuge aus der Theorie nichtlinearer Regelungstechnik und dem maschinellen Lernen nutzen, um zu bestimmen, wann Kombinationen stabiler RNNs selbst stabil sein werden. Besonders wichtig ist, dass wir Bedingungen ableiten, die massive Rückkopplungsverbindungen zwischen interagierenden RNNs zulassen. Diese Bedingungen parametrisieren wir zur einfacheren Optimierung mit gradientenbasierten Techniken und zeigen, dass stabilitätseinschränkte "Netze von Netzen" bei anspruchsvollen sequentiellen Benchmark-Aufgaben gut abschneiden können. Insgesamt liefern unsere Ergebnisse einen präzisen Ansatz zur Verständnis verteilter, modularen Funktionen im Gehirn.