GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization

Kürzlich wurden neuronale Themenmodelle (NTMs) in vortrainierte Sprachmodelle (PLMs) integriert, um die globale semantische Information für die Textzusammenfassung zu erfassen. In diesen Ansätzen bestehen jedoch weiterhin Einschränkungen hinsichtlich der Art und Weise, wie globale semantische Informationen erfasst und integriert werden. In diesem Paper stellen wir ein neuartiges Modell, das graphenbasierte kontrastive themenverstärkte Sprachmodell (GRETEL), vor, das das graphenbasierte kontrastive Themenmodell mit einem vortrainierten Sprachmodell kombiniert, um sowohl die globale als auch die lokale kontextuelle Semantik für die extraktive Zusammenfassung langer Dokumente optimal zu nutzen. Um die globale semantische Information effizienter zu erfassen und in PLMs zu integrieren, verbindet das graphenbasierte kontrastive Themenmodell einen hierarchischen Transformer-Encoder mit dem graphenbasierten kontrastiven Lernen, um die semantische Information aus dem globalen Dokumentkontext und der Gold-Zusammenfassung zu fusionieren. Dadurch fördert GRETEL das Modell, auffällige Sätze zu extrahieren, die thematisch mit der Gold-Zusammenfassung verbunden sind, anstatt redundanter Sätze, die suboptimale Themen abdecken. Experimentelle Ergebnisse auf allgemeinen und biomedizinischen Datensätzen zeigen, dass unsere vorgeschlagene Methode SOTA-Methoden übertrifft.