HyperAIHyperAI

Command Palette

Search for a command to run...

Wichtige Informationsanreize zur Steuerung von Inhalten bei anregebasierter abstraktiver Zusammenfassung

Lei Xu Mohammed Asad Karim Saket Dingliwal Aparna Elangovan

Zusammenfassung

Große Sprachmodelle (LLMs) können durch das Einsatz von Prompting-Techniken flüssige Zusammenfassungen über verschiedene Domänen generieren, was die Notwendigkeit, Modelle für Zusammenfassungsanwendungen zu trainieren, reduziert. Allerdings bleibt es eine Herausforderung, effektive Prompts zu erstellen, die LLMs dazu anleiten, Zusammenfassungen mit dem angemessenen Detailgrad und Schreibstil zu erzeugen. In dieser Arbeit untersuchen wir die Verwendung von aus dem Quelldokument extrahierten wesentlichen Informationen zur Verbesserung der Zusammenfassungsprompts. Wir zeigen, dass das Hinzufügen von Schlüsselbegriffen in den Prompts den ROUGE-F1-Wert und die Recall-Rate verbessern kann, wodurch die generierten Zusammenfassungen den Referenzzusammenfassungen ähnlicher und vollständiger werden. Die Anzahl der Schlüsselbegriffe kann den Kompromiss zwischen Präzision und Recall steuern. Darüber hinaus enthüllt unsere Analyse, dass die Einbeziehung von phrasenhaften wesentlichen Informationen überlegen ist gegenüber wort- oder satzbasierten Ansätzen. Der Einfluss auf Halluzinationen ist jedoch bei verschiedenen LLMs nicht einheitlich positiv. Um diese Analyse durchzuführen, stellen wir den Keyphrase Signal Extractor (SigExt) vor, ein leichtgewichtiges Modell, das feinjustiert werden kann, um wesentliche Schlüsselbegriffe zu extrahieren. Durch den Einsatz von SigExt erreichen wir konsistente ROUGE-Verbesserungen in verschiedenen Datensätzen und sowohl bei offenen als auch proprietären LLMs ohne jegliche Anpassung der LLMs. Unsere Ergebnisse bieten Einblicke in die Nutzung von wesentlichen Informationen beim Bau von promptbasierten Zusammenfassungssystemen. Wir veröffentlichen unseren Code unter \url{https://github.com/amazon-science/SigExt}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Wichtige Informationsanreize zur Steuerung von Inhalten bei anregebasierter abstraktiver Zusammenfassung | Paper | HyperAI