Mehraufgaben-basierte Tiefneuronale Netze für die Natürliche Sprachverarbeitung

In dieser Arbeit stellen wir ein Multi-Task Tiefes Neuronales Netzwerk (MT-DNN) vor, das Darstellungen für mehrere natürlichsprachliche Verarbeitungsaufgaben (NLU) erlernt. Das MT-DNN nutzt nicht nur große Mengen an intertaskdaten, sondern profitiert auch von einem Regularisierungseffekt, der allgemeinere Darstellungen ermöglicht, um sich an neue Aufgaben und Domains anzupassen. Das MT-DNN erweitert das Modell, das von Liu et al. (2015) vorgeschlagen wurde, durch die Integration eines vortrainierten bidirektionalen Transformer-Sprachmodells, bekannt als BERT (Devlin et al., 2018). Das MT-DNN erzielt neue Stand der Technik-Ergebnisse in zehn NLU-Aufgaben, darunter SNLI, SciTail und acht von neun GLUE-Aufgaben, wobei es den GLUE-Benchmark auf 82,7 % (eine absolute Verbesserung von 2,2 %) erhöht. Wir zeigen außerdem anhand der Datensätze SNLI und SciTail, dass die durch das MT-DNN gelernten Darstellungen eine Domänenanpassung mit deutlich weniger domänenspezifischen Labels ermöglichen als die vortrainierten BERT-Darstellungen. Der Code und die vortrainierten Modelle sind öffentlich verfügbar unter https://github.com/namisan/mt-dnn.