Neuronale extraktive Zusammenfassung mit hierarchischem aufmerksamem heterogenem Graphen-Netzwerk

Die extraktive Textzusammenfassung auf Satzebene ist im Wesentlichen eine Knotenklassifikationsaufgabe im Bereich des Netzwerkmineings, die sich an informativen Komponenten und kompakten Darstellungen orientiert. Zwischen den extrahierten Sätzen bestehen zahlreiche redundante Phrasen, die jedoch durch herkömmliche überwachte Methoden nur schwer exakt zu modellieren sind. Frühere Satz-Encoder, insbesondere BERT, sind darauf spezialisiert, die Beziehungen zwischen Quellsätzen zu erfassen. Sie verfügen jedoch nicht über die Fähigkeit, Überlappungen im ausgewählten Zusammenfassungstext zu berücksichtigen, und es bestehen inhärente Abhängigkeiten zwischen den Zielkennzeichnungen der Sätze. In diesem Artikel stellen wir HAHSum (kurz für Hierarchical Attentive Heterogeneous Graph for Text Summarization) vor, das verschiedene Informationsniveaus – sowohl auf Wort- als auch auf Satzebene – effektiv modelliert und insbesondere die Redundanzabhängigkeiten zwischen Sätzen hervorhebt. Unser Ansatz verfeinert iterativ die Satzrepräsentationen mittels eines redundanzbewussten Graphen und überträgt die Labelabhängigkeiten durch Nachrichtenweitergabe. Experimente an großen Benchmark-Korpora (CNN/DM, NYT und NEWSROOM) zeigen, dass HAHSum bahnbrechende Leistungen erzielt und damit frühere extraktive Zusammenfassungsverfahren übertrifft.