Zweistufiger Feinabstimmungsansatz für Bert auf DocRED

Die Modellierung von Beziehungen zwischen mehreren Entitäten hat in letzter Zeit zunehmend Aufmerksamkeit erfahren, und dazu wurde ein neuer Datensatz namens DocRED zusammengestellt, um die Forschung im Bereich der dokumentweiten Relationsextraktion zu beschleunigen. Aktuelle Baseline-Modelle für diese Aufgabe verwenden BiLSTM zur Kodierung des gesamten Dokuments und werden von Grund auf neu trainiert. Wir argumentieren, dass solche einfachen Baselines nicht ausreichend stark sind, um die komplexen Interaktionen zwischen Entitäten adäquat zu modellieren. In diesem Paper wenden wir zudem ein vortrainiertes Sprachmodell (BERT) an, um eine stärkere Baseline für diese Aufgabe zu schaffen. Außerdem stellen wir fest, dass die Aufgabe in mehreren Phasen zu lösen, die Leistung weiter verbessern kann. Der erste Schritt besteht darin, vorherzusagen, ob zwei Entitäten eine Beziehung zueinander haben oder nicht, der zweite Schritt besteht dann in der Vorhersage der spezifischen Relation.