HyperAIHyperAI

Command Palette

Search for a command to run...

GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization

Qianqian Xie Jimin Huang Tulika Saha Sophia Ananiadou

Zusammenfassung

Kürzlich wurden neuronale Themenmodelle (NTMs) in vortrainierte Sprachmodelle (PLMs) integriert, um die globale semantische Information für die Textzusammenfassung zu erfassen. In diesen Ansätzen bestehen jedoch weiterhin Einschränkungen hinsichtlich der Art und Weise, wie globale semantische Informationen erfasst und integriert werden. In diesem Paper stellen wir ein neuartiges Modell, das graphenbasierte kontrastive themenverstärkte Sprachmodell (GRETEL), vor, das das graphenbasierte kontrastive Themenmodell mit einem vortrainierten Sprachmodell kombiniert, um sowohl die globale als auch die lokale kontextuelle Semantik für die extraktive Zusammenfassung langer Dokumente optimal zu nutzen. Um die globale semantische Information effizienter zu erfassen und in PLMs zu integrieren, verbindet das graphenbasierte kontrastive Themenmodell einen hierarchischen Transformer-Encoder mit dem graphenbasierten kontrastiven Lernen, um die semantische Information aus dem globalen Dokumentkontext und der Gold-Zusammenfassung zu fusionieren. Dadurch fördert GRETEL das Modell, auffällige Sätze zu extrahieren, die thematisch mit der Gold-Zusammenfassung verbunden sind, anstatt redundanter Sätze, die suboptimale Themen abdecken. Experimentelle Ergebnisse auf allgemeinen und biomedizinischen Datensätzen zeigen, dass unsere vorgeschlagene Methode SOTA-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization | Paper | HyperAI