Überprüfung von Labels: Label Graph Network mit Top-k-Vorhersagemenge für die Relationsextraktion

Die übliche Vorgehensweise bei der Relationsextraktion besteht darin, große vortrainierte Sprachmodelle auf datensatzspezifische Aufgaben zu fine-tunen und anschließend diejenige Etikettierung mit der höchsten Wahrscheinlichkeit der Ausgabeverteilung als endgültige Vorhersage zu wählen. Dabei wird jedoch häufig übersehen, dass die Top-k-Vorhersagemenge für ein gegebenes Beispiel nützliche Informationen für die Vorhersage des korrekten Etiketts enthält. In diesem Paper zeigen wir erstmals, dass die Top-k-Vorhersagemenge eines gegebenen Samples wertvolle Informationen für die korrekte Etikettierung liefert. Um die Top-k-Vorhersagemenge effektiv auszunutzen, schlagen wir ein Label Graph Network mit Top-k-Vorhersagemenge vor, kurz KLG genannt. Konkret bauen wir für ein gegebenes Beispiel einen Etikettengraphen auf, um die Kandidateneintragungen in der Top-k-Vorhersagemenge zu überprüfen und die Beziehungen zwischen ihnen zu lernen. Zudem entwickeln wir eine dynamische k-Auswahl-Mechanismus, um leistungsfähigere und differenziertere Relationenrepräsentationen zu erlernen. Unsere Experimente zeigen, dass KLG auf drei Relationsextraktionsdatensätzen die besten Ergebnisse erzielt. Darüber hinaus stellen wir fest, dass KLG besonders effektiv bei der Behandlung von langen Schwänzen (long-tailed classes) ist.