Entitätsstruktur innerhalb und über den gesamten Text: Modellierung von Erwähnungsabhängigkeiten für die Dokumentebene-Relationsextraktion

Entitäten, als wesentliche Elemente in Aufgaben der Relationsextraktion, weisen eine bestimmte Struktur auf. In dieser Arbeit formulieren wir diese Struktur als charakteristische Abhängigkeiten zwischen Erwähnungspaaren. Anschließend schlagen wir SSAN vor, das diese strukturellen Abhängigkeiten innerhalb des herkömmlichen Selbst-Attention-Mechanismus und über die gesamte Kodierungsphase hinweg integriert. Konkret entwerfen wir zwei alternative Transformationsmodule innerhalb jedes Self-Attention-Blockes, um Aufmerksamkeits-Biases zu generieren, die den Aufmerksamkeitsfluss adaptiv regulieren. Unsere Experimente belegen die Nützlichkeit der vorgeschlagenen Entitätsstruktur sowie die Wirksamkeit von SSAN. Das Modell übertrifft signifikant konkurrierende Baselines und erreicht neue SOTA-Ergebnisse auf drei gängigen Dokumentebenen-Relationsextraktions-Datensätzen. Zudem liefern wir eine Ablationsstudie und Visualisierungen, um aufzuzeigen, wie die Entitätsstruktur das Modell bei der Verbesserung der Relationsextraktion unterstützt. Unser Code ist öffentlich verfügbar.