Verwendung von Context-to-Vector mit Graph-Retrofitting zur Verbesserung von Wort-Vektoren

Obwohl kontextualisierte Einbettungen, die aus groß angelegten vortrainierten Modellen generiert werden, in vielen Aufgaben gut abschneiden, spielen traditionelle statische Einbettungen (z.B. Skip-gram, Word2Vec) aufgrund ihrer geringen Rechenkosten, einfacher Bereitstellung und Stabilität weiterhin eine wichtige Rolle in Ressourcen-schwachen und leichten Anwendungsszenarien. In dieser Arbeit haben wir das Ziel, Wort-Einbettungen durch 1) die Integration zusätzlicher kontextueller Informationen aus bestehenden vortrainierten Modellen in den Skip-gram-Rahmen zu verbessern, was wir als Context-to-Vec bezeichnen; 2) einen Postverarbeitungs-Ansatz zur Anpassung von statischen Einbettungen vorzuschlagen, der unabhängig vom Training durch die Verwendung a priori Synonymwissen und gewichteter Vektordistributionen erfolgt. Durch extrinsische und intrinsische Aufgaben wurde nachgewiesen, dass unsere Methoden die Baseline-Verfahren deutlich übertreffen.