Command Palette
Search for a command to run...
Recurrentes Neuronales Netzwerk für Textklassifizierung mit Multi-Task-Lernen
Recurrentes Neuronales Netzwerk für Textklassifizierung mit Multi-Task-Lernen
Pengfei Liu; Xipeng Qiu; Xuanjing Huang
Zusammenfassung
Neuronale Netzwerk-basierte Methoden haben bei einer Vielzahl von Aufgaben der natürlichen Sprachverarbeitung große Fortschritte erzielt. In den meisten früheren Arbeiten wurden jedoch die Modelle auf der Grundlage von einheitlichen überwachten Lernzielen trainiert, was oft an mangelnden Trainingsdaten leidet. In dieser Arbeit nutzen wir den Rahmen des Multi-Task-Lernens, um über mehrere verwandte Aufgaben hinweg gemeinsam zu lernen. Basierend auf rekurrenten neuronalen Netzen schlagen wir drei verschiedene Mechanismen zur Informationsfreigabe vor, um Text mit aufgabenspezifischen und geteilten Schichten zu modellieren. Das gesamte Netzwerk wird gemeinsam für alle diese Aufgaben trainiert. Experimente anhand von vier Benchmark-Aufgaben der Textklassifikation zeigen, dass unsere vorgeschlagenen Modelle durch die Unterstützung anderer verwandter Aufgaben die Leistung einer Aufgabe verbessern können.