HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen aus Kontext oder Namen? Eine empirische Studie zur neuronalen Relationsextraktion

Hao Peng Tianyu Gao Xu Han Yankai Lin Peng Li Zhiyuan Liu Maosong Sun Jie Zhou

Zusammenfassung

Neuronale Modelle haben bei Benchmark-Aufgaben zur Relationsextraktion (RE) beachtliche Erfolge erzielt. Dennoch besteht kein klares Verständnis dafür, welche Art von Informationen die bestehenden RE-Modelle bei ihren Entscheidungen beeinflusst und wie deren Leistung weiter verbessert werden kann. Um dies zu untersuchen, analysieren wir empirisch den Einfluss zweier zentraler Informationsquellen im Text: textuelle Kontextinformationen und Entitätsangaben (Namen). Wir stellen fest, dass (i) obwohl der Kontext die Hauptquelle zur Unterstützung von Vorhersagen darstellt, RE-Modelle zudem stark auf Informationen aus Entitätsangaben zurückgreifen, wobei der Großteil dieser Informationen Typinformationen sind, und (ii) bestehende Datensätze möglicherweise durch Entitätsangaben oberflächliche Heuristiken preisgeben und dadurch zur hohen Leistung auf RE-Benchmarks beitragen. Auf Basis dieser Analysen schlagen wir einen entitätsmaskierten, kontrastiven Vortrainingsansatz für RE vor, um ein tieferes Verständnis sowohl für textuelle Kontextinformationen als auch für Typinformationen zu erlangen, gleichzeitig aber das bloße Auswendiglernen von Entitäten oder die Nutzung oberflächlicher Hinweise in Namensangaben zu vermeiden. Wir führen umfangreiche Experimente durch, um unsere Ansichten zu untermauern, und zeigen, dass unser Framework die Effektivität und Robustheit neuronaler Modelle in verschiedenen RE-Szenarien verbessern kann. Der gesamte Code sowie die verwendeten Datensätze sind unter https://github.com/thunlp/RE-Context-or-Names veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen aus Kontext oder Namen? Eine empirische Studie zur neuronalen Relationsextraktion | Paper | HyperAI