Few-Shot Dokumentenbasierte Relationsextraktion

Wir stellen FREDo vor, einen Benchmark für das Few-Shot Dokumentebene-Relationsextraktions (FSDLRE). Im Gegensatz zu bestehenden Benchmarks, die auf Korpora für die Relationsextraktion auf Satzebene basieren, argumentieren wir dafür, dass Korpora auf Dokumentebene mehr Realismus bieten, insbesondere in Bezug auf Verteilungen ohne eine der oben genannten Kategorien (NOTA). Daher schlagen wir eine Reihe von FSDLRE-Aufgaben vor und erstellen einen Benchmark basierend auf zwei existierenden überwachten Lern-Datensätzen, DocRED und sciERC. Wir passen die neueste Methode auf Satzebene, MNAV, an die Dokumentebene an und entwickeln sie weiter zur Verbesserung der Domänenanpassung. Wir finden heraus, dass FSDLRE eine anspruchsvolle Einstellung ist, mit interessanten neuen Merkmalen wie der Möglichkeit, NOTA-Instanzen aus dem Supportset zu sampeln. Die Daten, der Code und die trainierten Modelle sind online verfügbar (https://github.com/nicpopovic/FREDo).