Online und Linearzeit-Aufmerksamkeit durch Erzwingen monotoner Ausrichtungen

Recurrente neuronale Netzmodelle mit Aufmerksamkeitsmechanismus haben sich bei einer Vielzahl von Sequenz-zu-Sequenz-Problemen als äußerst effektiv erwiesen. Allerdings verhindert die Tatsache, dass weiche Aufmerksamkeitsmechanismen bei der Erzeugung jedes Elements in der Ausgabesequenz eine Durchlaufung der gesamten Eingabesequenz durchführen, ihre Verwendung in Online-Szenarien und führt zu einer quadratischen Zeitkomplexität. Basierend auf dem Erkenntnis, dass die Zuordnung zwischen den Elementen der Eingabe- und Ausgabesequenz in vielen interessanten Problemen monoton ist, schlagen wir eine end-to-end differenzierbare Methode zum Lernen monotoner Zuordnungen vor. Diese Methode ermöglicht es bei Testzeit, die Aufmerksamkeit online und in linearer Zeit zu berechnen. Wir überprüfen unseren Ansatz anhand von Satzrezension, maschineller Übersetzung und Online-Sprecherkennung und erzielen Ergebnisse, die mit den existierenden Sequenz-zu-Sequenz-Modellen wettbewerbsfähig sind.请注意，这里有一些术语的翻译需要特别注意：- "Recurrent neural network" 翻译为 "rekurrente neuronale Netz"。- "Attention mechanism" 翻译为 "Aufmerksamkeitsmechanismus"。- "Soft attention" 翻译为 "weicher Aufmerksamkeitsmechanismus"。- "Monotonic alignments" 翻译为 "monotone Zuordnungen"。- "Sentence summarization" 翻译为 "Satzrezension"（也可以翻译为 "Satzzusammenfassung"）。- "Online speech recognition" 翻译为 "Online-Sprecherkennung"。希望这些翻译能帮助您更好地理解德语文本。如果您有任何疑问或需要进一步调整，请告诉我。