Extraktion von Beziehungen auf Dokumentebene mit adaptivem Focal Loss und Wissensdistillation

Document-Level Relation Extraction (DocRE) stellt eine anspruchsvollere Aufgabe dar als ihre Satzlevel-Entsprechung. Ziel ist die gleichzeitige Extraktion von Relationen aus mehreren Sätzen. In diesem Paper stellen wir einen semi-superviseden Rahmen für DocRE mit drei neuen Komponenten vor. Erstens nutzen wir ein Axial-Attention-Modul, um die Wechselwirkungen zwischen Entity-Paaren zu lernen, was die Leistung bei Zwei-Schritt-Relationen verbessert. Zweitens schlagen wir eine adaptive Focal-Loss vor, um das Problem der Klassenungleichgewichtigkeit in DocRE zu bewältigen. Drittens verwenden wir Knowledge Distillation, um die Diskrepanz zwischen menschlich annotierten Daten und weitgehend automatisch (distantly supervised) annotierten Daten zu überwinden. Wir haben Experimente auf zwei DocRE-Datensätzen durchgeführt. Unser Modell übertrifft konsistent starke Baselines und erreicht auf dem DocRED-Leaderboard eine F1-Score-Steigerung von 1,36 und eine Ign_F1-Steigerung von 1,46 gegenüber dem vorherigen State-of-the-Art. Unser Code und die Daten werden unter https://github.com/tonytan48/KD-DocRE veröffentlicht.