Command Palette
Search for a command to run...
Aufmerksamkeitsbasierte konvolutionale neuronale Netzwerke für die semantische Relationsextraktion
Aufmerksamkeitsbasierte konvolutionale neuronale Netzwerke für die semantische Relationsextraktion
Yatian Shen Xuanjing Huang
Zusammenfassung
Heutzutage spielen neuronale Netze eine wichtige Rolle bei der Aufgabe der Relationklassifizierung. In diesem Paper stellen wir eine neuartige, auf Aufmerksamkeit basierende architektonische Variante eines konvolutionellen neuronalen Netzes für diese Aufgabe vor. Unser Modell nutzt umfassend Informationen aus Wort-Embeddings, POS-Tag-Embeddings und Positions-Embeddings. Mechanismen der Aufmerksamkeit auf Wortebene ermöglichen eine präzisere Bestimmung derjenigen Satzbestandteile, die bezüglich der beiden interessierenden Entitäten am stärksten einflussreich sind. Diese Architektur erlaubt es, wichtige Merkmale aus datenspezifischen, annotierten Trainingsdaten zu lernen, wodurch der Bedarf an externen Wissensquellen – wie expliziten Abhängigkeitsstrukturen – entfällt. Experimente auf dem SemEval-2010 Task 8 Benchmark-Datensatz zeigen, dass unser Modell eine bessere Leistung erzielt als mehrere state-of-the-art neuronale Netzwerkmodelle und bereits mit minimaler Merkmalsingenieurarbeit konkurrenzfähige Ergebnisse erreicht.