Kopplung oszillatorischer rekurrenter Neuronaler Netze (coRNN): Eine genaue und (gradienten-)stabile Architektur zum Lernen langer zeitlicher Abhängigkeiten

Schaltkreise biologischer Neuronen, wie sie in den funktionalen Bereichen des Gehirns vorkommen, können als Netzwerke gekoppelter Oszillatoren modelliert werden. Inspiriert von der Fähigkeit dieser Systeme, eine reichhaltige Menge an Ausgaben zu erzeugen, während die (Gradienten der) Zustandsvariablen beschränkt bleiben, schlagen wir eine neue Architektur für rekurrente neuronale Netze vor. Unser vorgeschlagenes RNN basiert auf einer Zeitdiskretisierung eines Systems zweiter Ordnung gewöhnlicher Differentialgleichungen, das Netzwerke kontrollierter nichtlinearer Oszillatoren modelliert. Wir beweisen präzise Schranken für die Gradienten der verborgenen Zustände, was zur Milderung des Problems explodierender und verschwindender Gradienten in diesem RNN führt. Experimente zeigen, dass das vorgeschlagene RNN in verschiedenen Benchmarks vergleichbar mit dem aktuellen Stand der Technik leistet und damit das Potenzial dieser Architektur zur Bereitstellung stabiler und genauer RNNs für die Verarbeitung komplexer sequentieller Daten demonstriert.