Der Schüler ist zum Meister geworden: Wörtereinbettungsdestillation auf Basis des Lehrer-Schüler-Modells mit Ensemble-Lernen

Kürzliche Fortschritte im Bereich des tiefen Lernens haben die Nachfrage nach neuronalen Modellen für praktische Anwendungen gefördert. In der Praxis müssen diese Anwendungen häufig unter Ressourcenbeschränkungen bereitgestellt werden, während gleichzeitig eine hohe Genauigkeit gewährleistet bleibt. Dieses Papier behandelt den Kern von neuronalen Modellen in der NLP, nämlich die Wortvektoren (word embeddings), und stellt einen neuen Embedding-Distillationsrahmen vor, der die Dimension von Wortvektoren erheblich reduziert, ohne dabei die Genauigkeit zu beeinträchtigen. Darüber hinaus wird ein neuer Distillations-Ensemble-Ansatz vorgeschlagen, mit dem ein hoch-effizientes Schülermodell unter Verwendung mehrerer Lehrermodelle trainiert wird. In unserem Ansatz übernehmen die Lehrermodelle nur während des Trainings eine Rolle, so dass das Schülermodell während der Decodierung unabhängig davon operiert und keine Unterstützung durch die Lehrermodelle benötigt. Dies macht es gegenüber anderen typischen Ensemble-Methoden um das Achtzigfache schneller und leichter. Alle Modelle wurden anhand sieben Dokumentklassifikationsdatensätze evaluiert und zeigen in den meisten Fällen einen signifikanten Vorteil gegenüber den Lehrermodellen. Unsere Analyse zeigt aufschlussreiche Transformationen der Wortvektoren durch die Distillation und deutet auf zukünftige Richtlinien für Ensemble-Ansätze unter Verwendung neuronaler Modelle hin.