HyperAIHyperAI

Command Palette

Search for a command to run...

Ein tiefes verstärktes Modell für abstraktive Zusammenfassung

Romain Paulus Caiming Xiong Richard Socher

Zusammenfassung

Aufmerksamkeitsbasierte, auf RNNs (Recurrent Neural Networks) aufbauende Encoder-Decoder-Modelle haben bei der extraktiven Zusammenfassung gute Ergebnisse bei kurzen Eingabe- und Ausgabesequenzen erzielt. Bei längeren Dokumenten und Zusammenfassungen enthalten diese Modelle jedoch oft wiederholte und inkohärente Phrasen. Wir stellen ein neuronales Netzwerkmodell vor, das eine neuartige Intra-Aufmerksamkeit verwendet, die getrennt über die Eingabe und die kontinuierlich generierte Ausgabe schaut, sowie eine neue Trainingsmethode, die standardmäßiges überwachtes Wortvorhersage und Reinforcement Learning (RL) kombiniert. Modelle, die ausschließlich mit überwachtem Lernen trainiert werden, zeigen oft ein "Expositionsverzerrung" (exposure bias) – sie gehen davon aus, dass während des Trainings zu jedem Zeitpunkt die korrekten Wörter zur Verfügung stehen. Wenn jedoch standardmäßige Wortvorhersage mit der globalen Sequenzvorhersage-Trainingsmethode des RL kombiniert wird, werden die generierten Zusammenfassungen lesbarer. Wir evaluieren dieses Modell anhand der Datensätze von CNN/Daily Mail und New York Times. Unser Modell erreicht einen ROUGE-1-Score von 41,16 auf dem CNN/Daily Mail-Datensatz, was eine Verbesserung gegenüber den bisherigen Stand der Technik darstellt. Eine menschliche Bewertung zeigt ebenfalls, dass unser Modell höhere Qualität in den generierten Zusammenfassungen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp