Skalierung der Zusammenfassung: Nutzen großer Sprachmodelle für die extraktive Zusammenfassung langer Texte

In einer Ära, in der digitale Texte in einem beispiellosen Tempo proliferieren, werden effiziente Zusammenfassungstools zunehmend unerlässlich. Obwohl große Sprachmodelle (LLMs) erfolgreich in verschiedenen NLP-Aufgaben eingesetzt wurden, bleibt ihre Rolle bei der extraktiven Textzusammenfassung untererforscht. Dieses Papier stellt EYEGLAXS (Easy Yet Efficient larGe LAnguage model for eXtractive Summarization) vor, einen Rahmen, der LLMs, speziell LLAMA2-7B und ChatGLM2-6B, zur extraktiven Zusammenfassung langer Textdokumente nutzt. Anstatt abstraktiven Methoden, die oft mit Problemen wie faktischen Ungenauigkeiten und Halluzinationen konfrontiert sind, konzentriert sich EYEGLAXS auf die extraktive Zusammenfassung, um faktische und grammatische Integrität zu gewährleisten. Durch die Nutzung modernster Techniken wie Flash Attention und parameter-effizienter Feinabstimmung (PEFT) adressiert EYEGLAXS die üblichen Herausforderungen im Bereich Berechnungs- und Ressourcenverbrauch, die mit LLMs verbunden sind. Das System setzt neue Leistungsstandards auf bekannten Datensätzen wie PubMed und ArXiv. Darüber hinaus erweitern wir unsere Forschung durch zusätzliche Analysen, die die Anpassungsfähigkeit von LLMs bei unterschiedlichen Sequenzlängen und ihre Effizienz beim Training auf kleineren Datensätzen untersuchen. Diese Beiträge setzen nicht nur eine neue Maßstäbe im Bereich der extraktiven Textzusammenfassung, sondern öffnen auch vielversprechende Perspektiven für zukünftige Forschungen.请注意，这里将“Flash Attention”直接翻译为“Flash Attention”，因为这是一个专有名词，在德语中通常保留原样。同样，“Parameter-Efficient Fine-Tuning (PEFT)”也被翻译为“parameter-effizienter Feinabstimmung (PEFT)”，以确保信息的完整性。