Command Palette
Search for a command to run...
Lange Kurzzeit- und Dynamische Übersprungverbindungen
Lange Kurzzeit- und Dynamische Übersprungverbindungen
Tao Gui; Qi Zhang; Lujun Zhao; Yaosong Lin; Minlong Peng; Jingjing Gong; Xuanjing Huang
Zusammenfassung
In den letzten Jahren wurde die Long Short-Term Memory (LSTM) erfolgreich zur Modellierung sequentieller Daten unterschiedlicher Länge eingesetzt. Dennoch kann LSTM Schwierigkeiten haben, langfristige Abhängigkeiten zu erfassen. In dieser Arbeit haben wir versucht, dieses Problem durch die Einführung einer dynamischen Skip-Verbindung zu lindern, die es ermöglicht, zwei abhängige Wörter direkt miteinander zu verbinden. Da im Trainingsdatensatz keine Abhängigkeitsinformationen vorhanden sind, schlagen wir eine neuartige Verstärkungslernmethode vor, um das Abhängigkeitsverhältnis zu modellieren und abhängige Wörter zu verbinden. Das vorgeschlagene Modell berechnet die rekurrenten Übergangsfunktionen auf der Grundlage der Skip-Verbindungen, was einen dynamischen Sprunganvantage gegenüber RNNs bietet, die stets ganze Sätze sequentiell bearbeiten. Unsere experimentellen Ergebnisse anhand dreier natürlichsprachverarbeitender Aufgaben zeigen, dass die vorgeschlagene Methode bessere Leistungen als bestehende Methoden erzielen kann. Im Zahlen-Vorhersage-Experiment übertraf das vorgeschlagene Modell LSTM hinsichtlich der Genauigkeit um fast 20 %.