Transferlernen für Sequenztagging mit hierarchischen rekurrenten Netzen

Kürzliche Studien haben gezeigt, dass neuronale Netze in mehreren verschiedenen sequenziellen Tagging-Aufgaben eine Spitzenleistung erzielen. Eine ansprechende Eigenschaft solcher Systeme ist ihre Allgemeinheit, da ausgezeichnete Ergebnisse mit einer einheitlichen Architektur und ohne aufgabenbezogene Merkmalsextraktion erreicht werden können. Es ist jedoch unklar, ob solche Systeme für Aufgaben ohne große Mengen an Trainingsdaten eingesetzt werden können. In dieser Arbeit untersuchen wir das Problem des Transfer-Learnings für neuronale Sequenztagger, bei dem eine Quellaufgabe mit zahlreichen Annotationen (z.B. Part-of-Speech-Tagging am Penn Treebank) verwendet wird, um die Leistung auf einer Zielaufgabe mit weniger verfügbaren Annotationen (z.B. Part-of-Speech-Tagging für Mikroblogs) zu verbessern. Wir analysieren die Effekte des Transfer-Learnings für tiefe hierarchische rekurrente Netzwerke über verschiedene Domains, Anwendungen und Sprachen hinweg und zeigen, dass oft erhebliche Verbesserungen erzielt werden können. Diese Verbesserungen führen zu Fortschritten gegenüber dem aktuellen Stand der Technik in mehreren gut untersuchten Aufgaben.