Lernen aus Kontext oder Namen? Eine empirische Studie zur neuronalen Relationsextraktion

Neuronale Modelle haben bei Benchmark-Aufgaben zur Relationsextraktion (RE) beachtliche Erfolge erzielt. Dennoch besteht kein klares Verständnis dafür, welche Art von Informationen die bestehenden RE-Modelle bei ihren Entscheidungen beeinflusst und wie deren Leistung weiter verbessert werden kann. Um dies zu untersuchen, analysieren wir empirisch den Einfluss zweier zentraler Informationsquellen im Text: textuelle Kontextinformationen und Entitätsangaben (Namen). Wir stellen fest, dass (i) obwohl der Kontext die Hauptquelle zur Unterstützung von Vorhersagen darstellt, RE-Modelle zudem stark auf Informationen aus Entitätsangaben zurückgreifen, wobei der Großteil dieser Informationen Typinformationen sind, und (ii) bestehende Datensätze möglicherweise durch Entitätsangaben oberflächliche Heuristiken preisgeben und dadurch zur hohen Leistung auf RE-Benchmarks beitragen. Auf Basis dieser Analysen schlagen wir einen entitätsmaskierten, kontrastiven Vortrainingsansatz für RE vor, um ein tieferes Verständnis sowohl für textuelle Kontextinformationen als auch für Typinformationen zu erlangen, gleichzeitig aber das bloße Auswendiglernen von Entitäten oder die Nutzung oberflächlicher Hinweise in Namensangaben zu vermeiden. Wir führen umfangreiche Experimente durch, um unsere Ansichten zu untermauern, und zeigen, dass unser Framework die Effektivität und Robustheit neuronaler Modelle in verschiedenen RE-Szenarien verbessern kann. Der gesamte Code sowie die verwendeten Datensätze sind unter https://github.com/thunlp/RE-Context-or-Names veröffentlicht.