Tiefere aufgabebezogene Spezifität verbessert die gemeinsame Entität- und Relationsextraktion

Multi-Task-Lernen (MTL) ist eine effektive Methode zum Lernen verwandter Aufgaben, erfordert jedoch bei der Gestaltung von MTL-Modellen die Entscheidung darüber, welche und wie viele Parameter jeweils aufgabe-spezifisch oder gemeinsam zwischen den Aufgaben verwendet werden sollen. Wir untersuchen dieses Problem im Kontext der gemeinsamen Lernung von Named Entity Recognition (NER) und Relation Extraction (RE) und stellen eine neuartige neuronale Architektur vor, die eine tiefere Aufgaben-Spezifität ermöglicht als frühere Ansätze. Insbesondere führen wir zusätzliche aufgabe-spezifische bidirektionale RNN-Schichten sowohl für die NER- als auch für die RE-Aufgabe ein und optimieren die Anzahl gemeinsamer und aufgabe-spezifischer Schichten separat für verschiedene Datensätze. Auf dem ADE-Datensatz erreichen wir state-of-the-art (SOTA)-Ergebnisse für beide Aufgaben; auf dem CoNLL04-Datensatz erzielen wir SOTA-Ergebnisse bei der NER-Aufgabe und wettbewerbsfähige Ergebnisse bei der RE-Aufgabe, wobei wir dabei eine Größenordnung weniger trainierbare Parameter verwenden als die aktuelle SOTA-Architektur. Eine Ablationsstudie bestätigt die Bedeutung der zusätzlichen aufgabe-spezifischen Schichten für die Erreichung dieser Ergebnisse. Unsere Arbeit zeigt, dass frühere Lösungen für die gemeinsame NER- und RE-Lernung die Aufgaben-Spezifität unterschätzen, und verdeutlicht die Wichtigkeit einer korrekten Abstimmung zwischen Anzahl gemeinsamer und aufgabe-spezifischer Parameter für MTL-Ansätze im Allgemeinen.