Command Palette
Search for a command to run...
Coarse-to-Fine Aufmerksamkeitsmodelle für die Dokumentzusammenfassung
Coarse-to-Fine Aufmerksamkeitsmodelle für die Dokumentzusammenfassung
er Alex Rush Jeffrey Ling
Zusammenfassung
Sequenz-zu-Sequenz-Modelle mit Aufmerksamkeit haben für eine Vielzahl von NLP-Aufgaben Erfolg gezeigt, ihre Geschwindigkeit skaliert jedoch nicht gut bei Aufgaben mit langen Quellsequenzen, wie beispielsweise der Dokumentensummarisierung. Wir schlagen ein neuartiges grob-zu-fein-Aufmerksamkeitsmodell vor, das ein Dokument hierarchisch liest: Zunächst verwendet es grobe Aufmerksamkeit, um oberste Textabschnitte auszuwählen, und anschließend feine Aufmerksamkeit, um die Wörter der ausgewählten Abschnitte zu verarbeiten. Während die Rechenzeit für das Training herkömmlicher Aufmerksamkeitsmodelle linear mit der Länge der Quellsequenz ansteigt, skaliert unsere Methode stattdessen mit der Anzahl der obersten Abschnitte und kann somit viel längere Sequenzen verarbeiten. Empirisch zeigen wir, dass grob-zu-fein-Aufmerksamkeitsmodelle zwar gegenüber aktuellen Spitzenmodellen noch hinterherhinken, jedoch das gewünschte Verhalten zeigen, nämlich während der Generierung sparsam nur auf Teilmengen des Dokuments zu achten.