Universeller Satzencoder

Wir präsentieren Modelle zur Kodierung von Sätzen in Einbettungsvektoren, die speziell auf das Transferlernen zu anderen NLP-Aufgaben abzielen. Diese Modelle sind effizient und erzielen genaue Ergebnisse bei diversen Transferaufgaben. Zwei Varianten der Kodierungsmodelle ermöglichen Kompromisse zwischen Genauigkeit und Rechenressourcen. Für beide Varianten untersuchen und dokumentieren wir den Zusammenhang zwischen Modellkomplexität, Ressourcenverbrauch, Verfügbarkeit von Trainingsdaten für die Transferaufgabe und der Aufgabenerfolg. Vergleiche werden mit Baselines durchgeführt, die über vortrainierte Wort-Einbettungen auf Wortebene Transferlernen nutzen sowie Baselines, die überhaupt kein Transferlernen verwenden. Wir stellen fest, dass das Transferlernen mit Satz-Einbettungen tendenziell besser abschneidet als das Wortebenentransfer. Bei dem Transferlernen mittels Satz-Einbettungen beobachten wir überraschend gute Leistungen bei minimalen Mengen an überwachtem Trainingsdaten für eine Transferaufgabe. Wir erhalten ermutigende Ergebnisse bei den Word Embedding Association Tests (WEAT), die darauf abzielen, Modellverzerrungen zu erkennen. Unsere vortrainierten Satzkodierungsmodelle sind kostenlos zum Download und auf TF Hub verfügbar.