HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

GenCompareSum: Ein hybrider, unsupervisierter Zusammenfassungsansatz basierend auf Relevanz

{Sophia Ananiadou Qianqian Xie Jennifer Bishop}

GenCompareSum: Ein hybrider, unsupervisierter Zusammenfassungsansatz basierend auf Relevanz

Abstract

Textzusammenfassung (TS) ist eine zentrale Aufgabe im Bereich der natürlichen Sprachverarbeitung (NLP). Vortrainierte Sprachmodelle (PLMs) wurden eingesetzt, um die Leistungsfähigkeit der TS zu verbessern. Doch PLMs sind durch ihren Bedarf an gelabelten Trainingsdaten sowie durch ihre Aufmerksamkeitsmechanismen eingeschränkt, was sie oft ungeeignet für die Verarbeitung langer Dokumente macht. Um diesem Problem zu begegnen, schlagen wir einen hybriden, unsupervisierten Ansatz vor, der sowohl abstraktive als auch extraktive Komponenten kombiniert. Dabei durchlaufen wir ein Dokument schrittweise und generieren bedeutungsvolle Textfragmente, die dessen zentrale Punkte repräsentieren. Anschließend wählen wir die wichtigsten Sätze des Dokuments aus, indem wir die Sätze mit der höchsten Ähnlichkeit zu den generierten Texten auswählen – die Ähnlichkeit wird mittels BERTScore berechnet. Wir evaluieren die Wirksamkeit der Generierung und Nutzung bedeutungsvoller Textfragmente zur Steuerung der extraktiven Zusammenfassung an Dokumenten aus den biomedizinischen und allgemein wissenschaftlichen Bereichen. Wir vergleichen die Leistung bei langen und kurzen Dokumenten unter Verwendung verschiedener generativer Textmodelle, die auf die Erzeugung relevanter Abfragen oder Dokumentüberschriften fine-tuned wurden. Unser hybrider Ansatz erzielt eine bessere Leistung als bestehende unsupervisierte Methoden sowie als state-of-the-art supervisierte Ansätze – und das, ohne dass eine große Menge an gelabelten Trainingsdaten erforderlich ist.

Benchmarks

BenchmarkMethodikMetriken
text-summarization-on-arxivGenCompareSum
ROUGE-1: 39.96
ROUGE-2: 15.15
ROUGE-L: 36.19
text-summarization-on-cord-19GenCompareSum
ROUGE-1: 41.02
ROUGE-2: 13.79
ROUGE-L: 37.25
text-summarization-on-pubmed-1GenCompareSum
ROUGE-1: 42.10
ROUGE-2: 16.51
ROUGE-L: 38.25
text-summarization-on-s2orcGenCompareSum
ROUGE-1: 43.39
ROUGE-2: 16.84
ROUGE-L: 39.82

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GenCompareSum: Ein hybrider, unsupervisierter Zusammenfassungsansatz basierend auf Relevanz | Forschungsarbeiten | HyperAI