Diversitätsgetriebenes Aufmerksamkeitsmodell für abstraktive Zusammenfassung auf Basis von Anfragen

Die abstraktive Zusammenfassung strebt an, eine kürzere Version eines Dokuments zu erstellen, die alle wesentlichen Punkte in kompakter und zusammenhängender Form abdeckt. Im Gegensatz dazu hebt die fragebasierte Zusammenfassung jene Punkte hervor, die im Kontext einer gegebenen Abfrage relevant sind. Das Paradigma Encode-Attend-Decode hat in Bereichen wie maschinelle Übersetzung, extraktive Zusammenfassung und Dialogsysteme bemerkenswerte Erfolge erzielt. Es leidet jedoch unter dem Nachteil der Generierung wiederholter Phrasen. In dieser Arbeit schlagen wir ein Modell für die fragebasierte Zusammenfassung vor, das auf dem Encode-Attend-Decode-Paradigma basiert und zwei wichtige Erweiterungen enthält: (i) ein Abfrage-Aufmerksamkeitsmodell (neben einem Dokument-Aufmerksamkeitsmodell), das lernt, sich auf verschiedene Teile der Abfrage in verschiedenen Zeitschritten zu konzentrieren (anstatt eine statische Repräsentation der Abfrage zu verwenden) und (ii) ein neues diversitätsbasiertes Aufmerksamkeitsmodell, das das Problem der Wiederholung von Phrasen in der Zusammenfassung lindern soll. Um die Testung dieses Modells zu ermöglichen, führen wir einen neuen fragebasierten Zusammenfassungsdatensatz ein, der auf Debatepedia aufbaut. Unsere Experimente zeigen, dass mit diesen beiden Erweiterungen das vorgeschlagene Modell deutlich besser abschneidet als einfache Encode-Attend-Decode-Modelle mit einem Anstieg von 28 % (absolut) in den ROUGE-L-Werten.