Recurrentes Neuronales Netzwerk für Textklassifizierung mit Multi-Task-Lernen

Neuronale Netzwerk-basierte Methoden haben bei einer Vielzahl von Aufgaben der natürlichen Sprachverarbeitung große Fortschritte erzielt. In den meisten früheren Arbeiten wurden jedoch die Modelle auf der Grundlage von einheitlichen überwachten Lernzielen trainiert, was oft an mangelnden Trainingsdaten leidet. In dieser Arbeit nutzen wir den Rahmen des Multi-Task-Lernens, um über mehrere verwandte Aufgaben hinweg gemeinsam zu lernen. Basierend auf rekurrenten neuronalen Netzen schlagen wir drei verschiedene Mechanismen zur Informationsfreigabe vor, um Text mit aufgabenspezifischen und geteilten Schichten zu modellieren. Das gesamte Netzwerk wird gemeinsam für alle diese Aufgaben trainiert. Experimente anhand von vier Benchmark-Aufgaben der Textklassifikation zeigen, dass unsere vorgeschlagenen Modelle durch die Unterstützung anderer verwandter Aufgaben die Leistung einer Aufgabe verbessern können.