Ein gemeinsames Mehrfach-Aufgaben-Modell: Das Wachsen eines neuronalen Netzes für mehrere NLP-Aufgaben

Traditionell haben Transfer- und Multi-Task-Lernen sich entweder auf ein einzelnes Quelle-Ziel-Paar oder sehr wenige, ähnliche Aufgaben konzentriert. Ideal wäre es, wenn die sprachlichen Ebenen der Morphologie, Syntax und Semantik sich gegenseitig durch die Training in einem einzigen Modell ergänzen würden. Wir stellen ein gemeinsames Multi-Task-Modell vor, das mit einer Strategie zur sukzessiven Erweiterung seiner Tiefe entwickelt wurde, um zunehmend komplexe Aufgaben zu lösen. Die höheren Schichten enthalten Abkürzungskonnektionen (shortcut connections) zu niedrigeren Ebenen von Task-Vorhersagen, um sprachliche Hierarchien widerzuspiegeln. Wir verwenden einen einfachen Regularisierungsterm, um alle Modellgewichte zu optimieren und so den Verlust einer Aufgabe zu verbessern, ohne dabei katastrophale Interferenzen bei den anderen Aufgaben aufzuweisen. Unser einziges End-to-End-Modell erzielt state-of-the-art oder wettbewerbsfähige Ergebnisse in fünf verschiedenen Aufgabenbereichen: Tagging, Parsing, Verwandtschaftsanalysen und Implikationsschließungen.