HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefere aufgabebezogene Spezifität verbessert die gemeinsame Entität- und Relationsextraktion

Phil Crone

Zusammenfassung

Multi-Task-Lernen (MTL) ist eine effektive Methode zum Lernen verwandter Aufgaben, erfordert jedoch bei der Gestaltung von MTL-Modellen die Entscheidung darüber, welche und wie viele Parameter jeweils aufgabe-spezifisch oder gemeinsam zwischen den Aufgaben verwendet werden sollen. Wir untersuchen dieses Problem im Kontext der gemeinsamen Lernung von Named Entity Recognition (NER) und Relation Extraction (RE) und stellen eine neuartige neuronale Architektur vor, die eine tiefere Aufgaben-Spezifität ermöglicht als frühere Ansätze. Insbesondere führen wir zusätzliche aufgabe-spezifische bidirektionale RNN-Schichten sowohl für die NER- als auch für die RE-Aufgabe ein und optimieren die Anzahl gemeinsamer und aufgabe-spezifischer Schichten separat für verschiedene Datensätze. Auf dem ADE-Datensatz erreichen wir state-of-the-art (SOTA)-Ergebnisse für beide Aufgaben; auf dem CoNLL04-Datensatz erzielen wir SOTA-Ergebnisse bei der NER-Aufgabe und wettbewerbsfähige Ergebnisse bei der RE-Aufgabe, wobei wir dabei eine Größenordnung weniger trainierbare Parameter verwenden als die aktuelle SOTA-Architektur. Eine Ablationsstudie bestätigt die Bedeutung der zusätzlichen aufgabe-spezifischen Schichten für die Erreichung dieser Ergebnisse. Unsere Arbeit zeigt, dass frühere Lösungen für die gemeinsame NER- und RE-Lernung die Aufgaben-Spezifität unterschätzen, und verdeutlicht die Wichtigkeit einer korrekten Abstimmung zwischen Anzahl gemeinsamer und aufgabe-spezifischer Parameter für MTL-Ansätze im Allgemeinen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp