HyperAIHyperAI

Command Palette

Search for a command to run...

Beyond Word Attention: Einsatz von Segment Attention in der neuronalen Relationsextraktion

Zhen-Yu Zhang Bowen Yu Tingwen Liu Quangang Li Bin Wang Sujian Li

Zusammenfassung

Die Relationsextraktion befasst sich mit der Vorhersage semantischer Beziehungen zwischen Paaren von Entitäten in Sätzen. Aufmerksamkeitsmechanismen werden häufig in diesem Task eingesetzt, um durch weiche Auswahl von Wörtern unabhängig voneinander innerhalb eines Satzes Rauschen zu reduzieren. Ausgehend von der Beobachtung, dass für eine Relation relevante Informationen typischerweise innerhalb von Segmenten (kontinuierlicher Wortfolgen innerhalb eines Satzes) enthalten sind, lässt sich dieses Phänomen zur Verbesserung der Extraktion nutzen. In diesem Paper zielen wir darauf ab, solche Segmentinformationen in einen neuronalen Relationsextraktor einzubinden. Unser Ansatz betrachtet den Aufmerksamkeitsmechanismus als lineare Kettenbedingte Zufallsfelder über einer Menge latenter Variablen, deren Kanten die gewünschte Struktur kodieren, und interpretiert die Aufmerksamkeitsgewichte als marginale Verteilung dafür, dass jedes Wort als Teil einer relationalen Ausdrucksform ausgewählt wird. Experimentelle Ergebnisse zeigen, dass unsere Methode kontinuierliche relationale Ausdrücke ohne explizite Annotationen erfassen kann und die bisher beste Leistung auf dem großskaligen TACRED-Datensatz erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Beyond Word Attention: Einsatz von Segment Attention in der neuronalen Relationsextraktion | Paper | HyperAI