HyperAIHyperAI

Command Palette

Search for a command to run...

Verwendung von Context-to-Vector mit Graph-Retrofitting zur Verbesserung von Wort-Vektoren

Jiangbin Zheng†, Yile Wang†, Ge Wang, Jun Xia, Yufei Huang, Guojiang Zhao, Yue Zhang, Stan Z. Li∗

Zusammenfassung

Obwohl kontextualisierte Einbettungen, die aus groß angelegten vortrainierten Modellen generiert werden, in vielen Aufgaben gut abschneiden, spielen traditionelle statische Einbettungen (z.B. Skip-gram, Word2Vec) aufgrund ihrer geringen Rechenkosten, einfacher Bereitstellung und Stabilität weiterhin eine wichtige Rolle in Ressourcen-schwachen und leichten Anwendungsszenarien. In dieser Arbeit haben wir das Ziel, Wort-Einbettungen durch 1) die Integration zusätzlicher kontextueller Informationen aus bestehenden vortrainierten Modellen in den Skip-gram-Rahmen zu verbessern, was wir als Context-to-Vec bezeichnen; 2) einen Postverarbeitungs-Ansatz zur Anpassung von statischen Einbettungen vorzuschlagen, der unabhängig vom Training durch die Verwendung a priori Synonymwissen und gewichteter Vektordistributionen erfolgt. Durch extrinsische und intrinsische Aufgaben wurde nachgewiesen, dass unsere Methoden die Baseline-Verfahren deutlich übertreffen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp