HyperAIHyperAI

Command Palette

Search for a command to run...

Coarse-to-Fine Aufmerksamkeitsmodelle für die Dokumentzusammenfassung

er Alex Rush Jeffrey Ling

Zusammenfassung

Sequenz-zu-Sequenz-Modelle mit Aufmerksamkeit haben für eine Vielzahl von NLP-Aufgaben Erfolg gezeigt, ihre Geschwindigkeit skaliert jedoch nicht gut bei Aufgaben mit langen Quellsequenzen, wie beispielsweise der Dokumentensummarisierung. Wir schlagen ein neuartiges grob-zu-fein-Aufmerksamkeitsmodell vor, das ein Dokument hierarchisch liest: Zunächst verwendet es grobe Aufmerksamkeit, um oberste Textabschnitte auszuwählen, und anschließend feine Aufmerksamkeit, um die Wörter der ausgewählten Abschnitte zu verarbeiten. Während die Rechenzeit für das Training herkömmlicher Aufmerksamkeitsmodelle linear mit der Länge der Quellsequenz ansteigt, skaliert unsere Methode stattdessen mit der Anzahl der obersten Abschnitte und kann somit viel längere Sequenzen verarbeiten. Empirisch zeigen wir, dass grob-zu-fein-Aufmerksamkeitsmodelle zwar gegenüber aktuellen Spitzenmodellen noch hinterherhinken, jedoch das gewünschte Verhalten zeigen, nämlich während der Generierung sparsam nur auf Teilmengen des Dokuments zu achten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp