Beyond Word Attention: Einsatz von Segment Attention in der neuronalen Relationsextraktion

Die Relationsextraktion befasst sich mit der Vorhersage semantischer Beziehungen zwischen Paaren von Entitäten in Sätzen. Aufmerksamkeitsmechanismen werden häufig in diesem Task eingesetzt, um durch weiche Auswahl von Wörtern unabhängig voneinander innerhalb eines Satzes Rauschen zu reduzieren. Ausgehend von der Beobachtung, dass für eine Relation relevante Informationen typischerweise innerhalb von Segmenten (kontinuierlicher Wortfolgen innerhalb eines Satzes) enthalten sind, lässt sich dieses Phänomen zur Verbesserung der Extraktion nutzen. In diesem Paper zielen wir darauf ab, solche Segmentinformationen in einen neuronalen Relationsextraktor einzubinden. Unser Ansatz betrachtet den Aufmerksamkeitsmechanismus als lineare Kettenbedingte Zufallsfelder über einer Menge latenter Variablen, deren Kanten die gewünschte Struktur kodieren, und interpretiert die Aufmerksamkeitsgewichte als marginale Verteilung dafür, dass jedes Wort als Teil einer relationalen Ausdrucksform ausgewählt wird. Experimentelle Ergebnisse zeigen, dass unsere Methode kontinuierliche relationale Ausdrücke ohne explizite Annotationen erfassen kann und die bisher beste Leistung auf dem großskaligen TACRED-Datensatz erzielt.