HyperAIHyperAI

Command Palette

Search for a command to run...

Lange Kurzzeit- und Dynamische Übersprungverbindungen

Tao Gui; Qi Zhang; Lujun Zhao; Yaosong Lin; Minlong Peng; Jingjing Gong; Xuanjing Huang

Zusammenfassung

In den letzten Jahren wurde die Long Short-Term Memory (LSTM) erfolgreich zur Modellierung sequentieller Daten unterschiedlicher Länge eingesetzt. Dennoch kann LSTM Schwierigkeiten haben, langfristige Abhängigkeiten zu erfassen. In dieser Arbeit haben wir versucht, dieses Problem durch die Einführung einer dynamischen Skip-Verbindung zu lindern, die es ermöglicht, zwei abhängige Wörter direkt miteinander zu verbinden. Da im Trainingsdatensatz keine Abhängigkeitsinformationen vorhanden sind, schlagen wir eine neuartige Verstärkungslernmethode vor, um das Abhängigkeitsverhältnis zu modellieren und abhängige Wörter zu verbinden. Das vorgeschlagene Modell berechnet die rekurrenten Übergangsfunktionen auf der Grundlage der Skip-Verbindungen, was einen dynamischen Sprunganvantage gegenüber RNNs bietet, die stets ganze Sätze sequentiell bearbeiten. Unsere experimentellen Ergebnisse anhand dreier natürlichsprachverarbeitender Aufgaben zeigen, dass die vorgeschlagene Methode bessere Leistungen als bestehende Methoden erzielen kann. Im Zahlen-Vorhersage-Experiment übertraf das vorgeschlagene Modell LSTM hinsichtlich der Genauigkeit um fast 20 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp