Ein dicht verbundenes Criss-Cross-Attention-Netzwerk für die Dokumentebene-Relationsextraktion

Die Dokumentebene-Relationsextraktion (Document-level Relation Extraction, RE) zielt darauf ab, Beziehungen zwischen zwei Entitäten innerhalb eines gegebenen Dokuments zu identifizieren. Im Vergleich zu ihrer Satzebene entsprechenden Variante erfordert die Dokumentebene-RE komplexere Schlussfolgerungen. Frühere Forschungsarbeiten vollzogen diese Schlussfolgerungen normalerweise durch Informationsweiterleitung in einem Erwähnungs- oder Entitäten-Graph auf Dokumentebene, berücksichtigten jedoch selten Schlussfolgerungen auf der Ebene von Entitätenpaaren. In diesem Artikel stellen wir ein neuartiges Modell namens Densely Connected Criss-Cross Attention Network (Dense-CCNet) für die Dokumentebene-RE vor, das logische Schlussfolgerungen auf der Ebene von Entitätenpaaren ermöglicht. Konkret führt das Dense-CCNet logische Schlussfolgerungen auf Entitätenpaarebene durch die Criss-Cross-Attention (CCA), die kontextuelle Informationen in horizontaler und vertikaler Richtung auf der Entitätenpaarmatrix sammelt, um die entsprechende Repräsentation von Entitätenpaaren zu verstärken. Darüber hinaus verbinden wir mehrere Schichten der CCA dicht, um gleichzeitig Merkmale für ein- und mehrschrittige logische Schlussfolgerungen zu erfassen. Wir evaluieren unser Dense-CCNet-Modell an drei öffentlichen Datensätzen für Dokumentebene-RE: DocRED, CDR und GDA. Experimentelle Ergebnisse zeigen, dass unser Modell auf diesen drei Datensätzen eine state-of-the-art-Leistung erreicht.