Wichtige Informationsanreize zur Steuerung von Inhalten bei anregebasierter abstraktiver Zusammenfassung

Große Sprachmodelle (LLMs) können durch das Einsatz von Prompting-Techniken flüssige Zusammenfassungen über verschiedene Domänen generieren, was die Notwendigkeit, Modelle für Zusammenfassungsanwendungen zu trainieren, reduziert. Allerdings bleibt es eine Herausforderung, effektive Prompts zu erstellen, die LLMs dazu anleiten, Zusammenfassungen mit dem angemessenen Detailgrad und Schreibstil zu erzeugen. In dieser Arbeit untersuchen wir die Verwendung von aus dem Quelldokument extrahierten wesentlichen Informationen zur Verbesserung der Zusammenfassungsprompts. Wir zeigen, dass das Hinzufügen von Schlüsselbegriffen in den Prompts den ROUGE-F1-Wert und die Recall-Rate verbessern kann, wodurch die generierten Zusammenfassungen den Referenzzusammenfassungen ähnlicher und vollständiger werden. Die Anzahl der Schlüsselbegriffe kann den Kompromiss zwischen Präzision und Recall steuern. Darüber hinaus enthüllt unsere Analyse, dass die Einbeziehung von phrasenhaften wesentlichen Informationen überlegen ist gegenüber wort- oder satzbasierten Ansätzen. Der Einfluss auf Halluzinationen ist jedoch bei verschiedenen LLMs nicht einheitlich positiv. Um diese Analyse durchzuführen, stellen wir den Keyphrase Signal Extractor (SigExt) vor, ein leichtgewichtiges Modell, das feinjustiert werden kann, um wesentliche Schlüsselbegriffe zu extrahieren. Durch den Einsatz von SigExt erreichen wir konsistente ROUGE-Verbesserungen in verschiedenen Datensätzen und sowohl bei offenen als auch proprietären LLMs ohne jegliche Anpassung der LLMs. Unsere Ergebnisse bieten Einblicke in die Nutzung von wesentlichen Informationen beim Bau von promptbasierten Zusammenfassungssystemen. Wir veröffentlichen unseren Code unter \url{https://github.com/amazon-science/SigExt}.