HyperAIHyperAI
vor 18 Tagen

Verbesserung der Relationserkennung durch syntaxinduziertes Pre-training mit Abhängigkeitsmaskierung

{Fei Xia, Yan Song, Yuanhe Tian}
Verbesserung der Relationserkennung durch syntaxinduziertes Pre-training mit Abhängigkeitsmaskierung
Abstract

Die Relationsextraktion (RE) ist eine zentrale Aufgabe im Bereich des natürlichen Sprachverstehens, bei der die Beziehung zwischen zwei gegebenen Entitäten vorhergesagt wird. Hierbei ist ein tiefes Verständnis der kontextuellen Information entscheidend, um eine herausragende Modellleistung zu erzielen. Unter den verschiedenen Arten kontextueller Informationen hat sich die automatisch generierte syntaktische Information – insbesondere Wortabhängigkeiten – als wirksam für diese Aufgabe erwiesen. Allerdings erfordern die meisten bestehenden Ansätze Modifikationen an den bestehenden Baseline-Architekturen (z. B. Hinzufügen neuer Komponenten wie GCN auf der Basis eines Encoders), um die syntaktische Information effektiv zu nutzen. Als Alternative schlagen wir vor, die syntaktische Information zur Verbesserung der RE durch das Training eines syntaktik-induzierten Encoders auf automatisch analysierten Daten mittels Abhängigkeitsmaskierung zu nutzen. Konkret wird der syntaktik-induzierte Encoder darauf trainiert, maskierte Abhängigkeitsverbindungen und -typen in erster, zweiter und dritter Ordnung wiederherzustellen – ein Ansatz, der sich signifikant von bestehenden Studien unterscheidet, die Sprachmodelle oder Wort-Embeddings durch die Vorhersage von Kontextwörtern entlang von Abhängigkeitspfaden trainieren. Experimentelle Ergebnisse auf zwei englischen Benchmark-Datensätzen, nämlich ACE2005EN und SemEval 2010 Task 8, belegen die Wirksamkeit unseres Ansatzes für die RE. Unser Verfahren übertrifft starke Baselines und erreicht auf beiden Datensätzen state-of-the-art-Ergebnisse.