Lernen allgemeiner verteilter Satzrepräsentationen durch groß angelegtes Multitask-Lernen

Viel von dem jüngsten Erfolg im Bereich der natürlichsprachlichen Verarbeitung (NLP) wurde durch verteilte Vektordarstellungen von Wörtern getrieben, die auf großen Textmengen in einem unüberwachten Modus trainiert wurden. Diese Darstellungen werden in der Regel als allgemeine Merkmale für Wörter bei einer Vielzahl von NLP-Problemen verwendet. Dennoch bleibt es ein offenes Problem, diesen Erfolg auf das Lernen von Darstellungen von Wortsequenzen, wie zum Beispiel Sätzen, zu erweitern. Kürzliche Arbeiten haben unüberwachte sowie überwachte Lernmethoden mit unterschiedlichen Trainingszielen untersucht, um allgemeine fixierte Satzdarstellungen zu lernen. In dieser Arbeit präsentieren wir einen einfachen und effektiven Mehrfachaufgaben-Lernrahmen für Satzdrepräsentationen, der die induktiven Vorurteile verschiedener Trainingsziele in einem einzigen Modell kombiniert. Wir trainieren dieses Modell auf mehreren Datenquellen mit mehreren Trainingszielen anhand von über 100 Millionen Sätzen. Umfangreiche Experimente zeigen, dass das Teilen eines einzelnen rekurrenten Satzencoders über schwach verwandte Aufgaben hinweg zu konsistenten Verbesserungen im Vergleich zu früheren Methoden führt. Wir präsentieren erhebliche Verbesserungen im Kontext des Transferlearnings und in Ressourcen-schwachen Einstellungen unter Verwendung unserer gelernten allgemeinen Darstellungen.