Pretraining-basierierte natürliche Sprachgenerierung für Textzusammenfassung

In dieser Arbeit schlagen wir einen neuartigen prätrainierten Encoder-Decoder-Framework vor, das die Ausgabe-Sequenz auf Grundlage der Eingabe-Sequenz in einem zweistufigen Verfahren generieren kann. Für den Encoder unseres Modells kodieren wir die Eingabe-Sequenz in Kontextrepräsentationen unter Verwendung von BERT. Für den Decoder gibt es zwei Stufen in unserem Modell: In der ersten Stufe verwenden wir einen transformerbasierten Decoder, um eine Entwurf-Ausgabe-Sequenz zu generieren. In der zweiten Stufe maskieren wir jedes Wort der Entwurf-Sequenz und geben es an BERT weiter. Anschließend kombinieren wir die Eingabe-Sequenz mit der durch BERT erzeugten Entwurf-Repräsentation und verwenden einen transformerbasierten Decoder, um für jede maskierte Position das verfeinerte Wort vorherzusagen. Nach bestem Wissen ist unser Ansatz die erste Methode, die BERT in Textgenerierungsaufgaben einsetzt. Als erster Schritt in diese Richtung bewerten wir unsere vorgeschlagene Methode anhand der Aufgabe der Textzusammenfassung. Die experimentellen Ergebnisse zeigen, dass unser Modell neue Standarts auf den Datensätzen CNN/Daily Mail und New York Times erreicht.