Ein tiefes verstärktes Modell für abstraktive Zusammenfassung

Aufmerksamkeitsbasierte, auf RNNs (Recurrent Neural Networks) aufbauende Encoder-Decoder-Modelle haben bei der extraktiven Zusammenfassung gute Ergebnisse bei kurzen Eingabe- und Ausgabesequenzen erzielt. Bei längeren Dokumenten und Zusammenfassungen enthalten diese Modelle jedoch oft wiederholte und inkohärente Phrasen. Wir stellen ein neuronales Netzwerkmodell vor, das eine neuartige Intra-Aufmerksamkeit verwendet, die getrennt über die Eingabe und die kontinuierlich generierte Ausgabe schaut, sowie eine neue Trainingsmethode, die standardmäßiges überwachtes Wortvorhersage und Reinforcement Learning (RL) kombiniert. Modelle, die ausschließlich mit überwachtem Lernen trainiert werden, zeigen oft ein "Expositionsverzerrung" (exposure bias) – sie gehen davon aus, dass während des Trainings zu jedem Zeitpunkt die korrekten Wörter zur Verfügung stehen. Wenn jedoch standardmäßige Wortvorhersage mit der globalen Sequenzvorhersage-Trainingsmethode des RL kombiniert wird, werden die generierten Zusammenfassungen lesbarer. Wir evaluieren dieses Modell anhand der Datensätze von CNN/Daily Mail und New York Times. Unser Modell erreicht einen ROUGE-1-Score von 41,16 auf dem CNN/Daily Mail-Datensatz, was eine Verbesserung gegenüber den bisherigen Stand der Technik darstellt. Eine menschliche Bewertung zeigt ebenfalls, dass unser Modell höhere Qualität in den generierten Zusammenfassungen erzielt.