HyperAIHyperAI

Command Palette

Search for a command to run...

Online und Linearzeit-Aufmerksamkeit durch Erzwingen monotoner Ausrichtungen

Colin Raffel Minh-Thang Luong Peter J. Liu Ron J. Weiss Douglas Eck

Zusammenfassung

Recurrente neuronale Netzmodelle mit Aufmerksamkeitsmechanismus haben sich bei einer Vielzahl von Sequenz-zu-Sequenz-Problemen als äußerst effektiv erwiesen. Allerdings verhindert die Tatsache, dass weiche Aufmerksamkeitsmechanismen bei der Erzeugung jedes Elements in der Ausgabesequenz eine Durchlaufung der gesamten Eingabesequenz durchführen, ihre Verwendung in Online-Szenarien und führt zu einer quadratischen Zeitkomplexität. Basierend auf dem Erkenntnis, dass die Zuordnung zwischen den Elementen der Eingabe- und Ausgabesequenz in vielen interessanten Problemen monoton ist, schlagen wir eine end-to-end differenzierbare Methode zum Lernen monotoner Zuordnungen vor. Diese Methode ermöglicht es bei Testzeit, die Aufmerksamkeit online und in linearer Zeit zu berechnen. Wir überprüfen unseren Ansatz anhand von Satzrezension, maschineller Übersetzung und Online-Sprecherkennung und erzielen Ergebnisse, die mit den existierenden Sequenz-zu-Sequenz-Modellen wettbewerbsfähig sind.请注意,这里有一些术语的翻译需要特别注意:- "Recurrent neural network" 翻译为 "rekurrente neuronale Netz"。- "Attention mechanism" 翻译为 "Aufmerksamkeitsmechanismus"。- "Soft attention" 翻译为 "weicher Aufmerksamkeitsmechanismus"。- "Monotonic alignments" 翻译为 "monotone Zuordnungen"。- "Sentence summarization" 翻译为 "Satzrezension"(也可以翻译为 "Satzzusammenfassung")。- "Online speech recognition" 翻译为 "Online-Sprecherkennung"。希望这些翻译能帮助您更好地理解德语文本。如果您有任何疑问或需要进一步调整,请告诉我。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp