Lipschitz-Rekurrente Neuronale Netze

Indem wir rekurrente Neuronale Netze (RNNs) als kontinuierliche dynamische Systeme betrachten, schlagen wir eine rekurrente Einheit vor, die die Entwicklung des versteckten Zustands in zwei Teile unterteilt: einen gut verstandenen linearen Anteil und eine Lipschitz-Nichtlinearität. Diese spezifische funktionale Form ermöglicht es, die Stabilität der langfristigen Verhaltensweisen der rekurrenten Einheit mit Hilfe von Werkzeugen aus der Theorie nichtlinearer Systeme zu analysieren. Dies wiederum ermöglicht architekturbezogene Entscheidungen, bevor Experimente durchgeführt werden. Es werden hinreichende Bedingungen für die globale Stabilität der rekurrenten Einheit hergeleitet, was zu einem neuen Schema für die Konstruktion von versteckten-zu-versteckten Matrizen führt. Unsere Experimente zeigen, dass das Lipschitz-RNN bestehende rekurrente Einheiten bei einer Reihe von Benchmark-Aufgaben übertreffen kann, darunter Aufgaben im Bereich Computer Vision, Sprachmodellierung und Sprachvorhersage. Schließlich demonstrieren wir durch eine Hesse-basierte Analyse, dass unser Lipschitz-rekurrentes Netzwerk gegenüber Eingangs- und Parameterstörungen robuster ist als andere kontinuierliche RNNs.