HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Relationserkennung durch syntaxinduziertes Pre-training mit Abhängigkeitsmaskierung

Fei Xia Yan Song Yuanhe Tian

Zusammenfassung

Die Relationsextraktion (RE) ist eine zentrale Aufgabe im Bereich des natürlichen Sprachverstehens, bei der die Beziehung zwischen zwei gegebenen Entitäten vorhergesagt wird. Hierbei ist ein tiefes Verständnis der kontextuellen Information entscheidend, um eine herausragende Modellleistung zu erzielen. Unter den verschiedenen Arten kontextueller Informationen hat sich die automatisch generierte syntaktische Information – insbesondere Wortabhängigkeiten – als wirksam für diese Aufgabe erwiesen. Allerdings erfordern die meisten bestehenden Ansätze Modifikationen an den bestehenden Baseline-Architekturen (z. B. Hinzufügen neuer Komponenten wie GCN auf der Basis eines Encoders), um die syntaktische Information effektiv zu nutzen. Als Alternative schlagen wir vor, die syntaktische Information zur Verbesserung der RE durch das Training eines syntaktik-induzierten Encoders auf automatisch analysierten Daten mittels Abhängigkeitsmaskierung zu nutzen. Konkret wird der syntaktik-induzierte Encoder darauf trainiert, maskierte Abhängigkeitsverbindungen und -typen in erster, zweiter und dritter Ordnung wiederherzustellen – ein Ansatz, der sich signifikant von bestehenden Studien unterscheidet, die Sprachmodelle oder Wort-Embeddings durch die Vorhersage von Kontextwörtern entlang von Abhängigkeitspfaden trainieren. Experimentelle Ergebnisse auf zwei englischen Benchmark-Datensätzen, nämlich ACE2005EN und SemEval 2010 Task 8, belegen die Wirksamkeit unseres Ansatzes für die RE. Unser Verfahren übertrifft starke Baselines und erreicht auf beiden Datensätzen state-of-the-art-Ergebnisse.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp