HyperAIHyperAI

Command Palette

Search for a command to run...

Kopplung oszillatorischer rekurrenter Neuronaler Netze (coRNN): Eine genaue und (gradienten-)stabile Architektur zum Lernen langer zeitlicher Abhängigkeiten

T. Konstantin Rusch Siddhartha Mishra

Zusammenfassung

Schaltkreise biologischer Neuronen, wie sie in den funktionalen Bereichen des Gehirns vorkommen, können als Netzwerke gekoppelter Oszillatoren modelliert werden. Inspiriert von der Fähigkeit dieser Systeme, eine reichhaltige Menge an Ausgaben zu erzeugen, während die (Gradienten der) Zustandsvariablen beschränkt bleiben, schlagen wir eine neue Architektur für rekurrente neuronale Netze vor. Unser vorgeschlagenes RNN basiert auf einer Zeitdiskretisierung eines Systems zweiter Ordnung gewöhnlicher Differentialgleichungen, das Netzwerke kontrollierter nichtlinearer Oszillatoren modelliert. Wir beweisen präzise Schranken für die Gradienten der verborgenen Zustände, was zur Milderung des Problems explodierender und verschwindender Gradienten in diesem RNN führt. Experimente zeigen, dass das vorgeschlagene RNN in verschiedenen Benchmarks vergleichbar mit dem aktuellen Stand der Technik leistet und damit das Potenzial dieser Architektur zur Bereitstellung stabiler und genauer RNNs für die Verarbeitung komplexer sequentieller Daten demonstriert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp