A La Carte Einbettung: Günstig aber effektive Induktion semantischer Merkmalsvektoren

Motivationen wie Domänenanpassung (domain adaptation), Transferlernen (transfer learning) und Merkmalslernen (feature learning) haben das Interesse an der Generierung von Einbettungen für seltene oder unbekannte Wörter, n-Gramme, Synsets und andere textuelle Merkmale angeregt. Dieses Papier stellt eine „à la carte“-Einbettung vor, eine einfache und allgemeine Alternative zu den üblichen word2vec-basierten Ansätzen zur Erstellung solcher Repräsentationen, die auf jüngsten theoretischen Ergebnissen für GloVe-ähnliche Einbettungen basiert. Unsere Methode beruht hauptsächlich auf einer linearen Transformation, die effizient mit vortrainierten Wortvektoren und linearer Regression erlernbar ist. Diese Transformation kann in Zukunft spontan angewendet werden, wenn ein neues textuelles Merkmal oder ein seltenes Wort auftaucht, selbst wenn nur ein einzelnes Verwendungsexemplar verfügbar ist. Wir stellen einen neuen Datensatz vor, der zeigt, wie die „à la carte“-Methode weniger Beispiele von Wörtern im Kontext benötigt, um hochwertige Einbettungen zu lernen, und erhalten dabei Stand-des-Wissens-Ergebnisse in einer Ad-hoc-Aufgabe sowie bei einigen unüberwachten Dokumentklassifikationsaufgaben.