Command Palette
Search for a command to run...
Verbesserung der Bedingung in kontextbewussten sequenz-zu-sequenz-Modellen
Verbesserung der Bedingung in kontextbewussten sequenz-zu-sequenz-Modellen
Xinyi Wang Jason Weston Michael Auli Yacine Jernite
Zusammenfassung
Neuronale sequenz-zu-Sequenz-Modelle sind für Anwendungen etabliert, die als Abbildung einer einzelnen Eingabesequenz auf eine einzelne Ausgabesequenz formuliert werden können. In dieser Arbeit konzentrieren wir uns auf Fälle, bei denen die Generierung sowohl auf einer kurzen Abfrage als auch auf einem längeren Kontext bedingt ist, beispielsweise bei abstraktiver Fragebeantwortung oder dokumentenweiser Übersetzung. Wir modifizieren den herkömmlichen Ansatz der Sequenz-zu-Sequenz-Modellierung, um sowohl die Abfrage als auch den Kontext effizienter zu nutzen, indem wir den Bedingungsmechanismus erweitern, um Abfrage- und Kontext-Attention miteinander zu verflechten. Außerdem führen wir eine einfache und effiziente Methode zur Datenverstärkung (data augmentation) für das vorgeschlagene Modell ein. Experimente an drei unterschiedlichen Aufgaben zeigen, dass beide Verbesserungen konsistente Leistungssteigerungen bewirken.