Lernen durch die Kopiergeschichte: Korrelierte Kopier-Netzwerk für abstraktive Zusammenfassung

Der Kopiermechanismus hat erheblichen Erfolg bei abstraktiven Zusammenfassungen erzielt, indem er Modellen ermöglicht, Wörter direkt aus dem Eingabetext in die Ausgabezusammenfassung zu übertragen. Bisherige Arbeiten setzen hauptsächlich auf Encoder-Decoder-Attention, die den Kopiervorgang zu jedem Zeitpunkt unabhängig von früheren Schritten durchführt. Dies kann jedoch gelegentlich zu unvollständigen Kopiervorgängen führen. In diesem Artikel stellen wir ein neuartiges Kopierschema namens Correlational Copying Network (CoCoNet) vor, das den herkömmlichen Kopiermechanismus durch die Verfolgung der Kopierhistorie verbessert. Dadurch nutzt das Modell die vorherigen Kopierverteilungen aus und ermutigt in jedem Zeitpunkt explizit dazu, das Eingabewort zu kopieren, das in Bezug zum zuvor kopierten Wort steht. Zudem stärken wir CoCoNet durch eine Vortrainingsphase mit geeigneten Korpora, die das Kopierverhalten nachahmen. Experimentelle Ergebnisse zeigen, dass CoCoNet genauer kopiert und auf Zusammenfassungsbenchmarks neue SOTA-Leistungen erzielt, darunter CNN/DailyMail für Nachrichtenzusammenfassung und SAMSum für Dialogzusammenfassung. Der Quellcode und die Checkpoints werden öffentlich verfügbar gemacht.