Aufmerksamkeitsbasierte konvolutionale neuronale Netzwerke für die semantische Relationsextraktion

Heutzutage spielen neuronale Netze eine wichtige Rolle bei der Aufgabe der Relationklassifizierung. In diesem Paper stellen wir eine neuartige, auf Aufmerksamkeit basierende architektonische Variante eines konvolutionellen neuronalen Netzes für diese Aufgabe vor. Unser Modell nutzt umfassend Informationen aus Wort-Embeddings, POS-Tag-Embeddings und Positions-Embeddings. Mechanismen der Aufmerksamkeit auf Wortebene ermöglichen eine präzisere Bestimmung derjenigen Satzbestandteile, die bezüglich der beiden interessierenden Entitäten am stärksten einflussreich sind. Diese Architektur erlaubt es, wichtige Merkmale aus datenspezifischen, annotierten Trainingsdaten zu lernen, wodurch der Bedarf an externen Wissensquellen – wie expliziten Abhängigkeitsstrukturen – entfällt. Experimente auf dem SemEval-2010 Task 8 Benchmark-Datensatz zeigen, dass unser Modell eine bessere Leistung erzielt als mehrere state-of-the-art neuronale Netzwerkmodelle und bereits mit minimaler Merkmalsingenieurarbeit konkurrenzfähige Ergebnisse erreicht.