HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen durch die Kopiergeschichte: Korrelierte Kopier-Netzwerk für abstraktive Zusammenfassung

BoWen Zhou Xiaodong He Youzheng Wu Yujia Wang Peng Yuan Song Xu Haoran Li

Zusammenfassung

Der Kopiermechanismus hat erheblichen Erfolg bei abstraktiven Zusammenfassungen erzielt, indem er Modellen ermöglicht, Wörter direkt aus dem Eingabetext in die Ausgabezusammenfassung zu übertragen. Bisherige Arbeiten setzen hauptsächlich auf Encoder-Decoder-Attention, die den Kopiervorgang zu jedem Zeitpunkt unabhängig von früheren Schritten durchführt. Dies kann jedoch gelegentlich zu unvollständigen Kopiervorgängen führen. In diesem Artikel stellen wir ein neuartiges Kopierschema namens Correlational Copying Network (CoCoNet) vor, das den herkömmlichen Kopiermechanismus durch die Verfolgung der Kopierhistorie verbessert. Dadurch nutzt das Modell die vorherigen Kopierverteilungen aus und ermutigt in jedem Zeitpunkt explizit dazu, das Eingabewort zu kopieren, das in Bezug zum zuvor kopierten Wort steht. Zudem stärken wir CoCoNet durch eine Vortrainingsphase mit geeigneten Korpora, die das Kopierverhalten nachahmen. Experimentelle Ergebnisse zeigen, dass CoCoNet genauer kopiert und auf Zusammenfassungsbenchmarks neue SOTA-Leistungen erzielt, darunter CNN/DailyMail für Nachrichtenzusammenfassung und SAMSum für Dialogzusammenfassung. Der Quellcode und die Checkpoints werden öffentlich verfügbar gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp