HyperAIHyperAI

Command Palette

Search for a command to run...

Training auf Zusammenfassungsebene für Satzumformung zur abstraktiven Zusammenfassung

Sanghwan Bae Taeuk Kim Jihoon Kim Sang-goo Lee

Zusammenfassung

Um die Ansätze der extraktiven und abstraktiven Zusammenfassung zu kombinieren, setzen Sentence Rewriting-Modelle eine Strategie um, bei der zunächst markante Sätze aus einem Dokument extrahiert werden und diese anschließend umformuliert werden, um eine Zusammenfassung zu generieren. Allerdings beruhen die bestehenden Modelle innerhalb dieses Rahmens hauptsächlich auf Satz-Ebene Belohnungen oder suboptimalen Etikettierungen, was zu einer Diskrepanz zwischen dem Trainingsziel und der Evaluationsmetrik führt. In diesem Paper präsentieren wir ein neuartiges Trainingsignal, das direkt die ROUGE-Scores auf Dokumentebene durch Verstärkendes Lernen maximiert. Zudem integrieren wir BERT in unser Modell, um dessen Stärken im Bereich der natürlichen Sprachverstehens optimal auszunutzen. In umfangreichen Experimenten zeigen wir, dass die Kombination unseres vorgeschlagenen Modells und des Trainingsverfahrens sowohl auf den Datensätzen CNN/Daily Mail als auch New York Times neue SOTA-Leistungen erzielt. Außerdem demonstrieren wir, dass das Modell auf dem DUC-2002-Testset eine bessere Generalisierbarkeit aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp