InstructUIE: Mehrfach-Aufgaben-Anpassung für die einheitliche Informationsextraktion

Große Sprachmodelle haben durch das Lesen von instruktiven Prompts starke Multitasking-Fähigkeiten freigeschaltet. Dennoch haben jüngste Studien gezeigt, dass existierende große Modelle immer noch Schwierigkeiten bei Informationsextraktionsaufgaben haben. Zum Beispiel erreichte gpt-3.5-turbo auf dem Ontonotes-Datensatz einen F1-Score von 18,22, was deutlich unter der aktuellen Bestleistung liegt. In dieser Arbeit schlagen wir InstructUIE vor, ein einheitliches Informationsextraktionsframework basierend auf Anweisungstuning, das verschiedene Informationsextraktionsaufgaben gleichmäßig modellieren und die Interdependencies zwischen den Aufgaben erfassen kann. Um die vorgeschlagene Methode zu validieren, führen wir IE INSTRUCTIONS ein, eine Benchmark-Sammlung von 32 diversen Informationsextraktionsdatensätzen in einem einheitlichen Text-zu-Text-Format mit von Experten verfassten Anweisungen. Experimentelle Ergebnisse zeigen, dass unsere Methode in überwachten Szenarien eine vergleichbare Leistung wie BERT erzielt und in Null-Shot-Szenarien signifikant besser als der aktuelle Stand der Technik und gpt-3.5 abschneidet.