HyperAIHyperAI

Command Palette

Search for a command to run...

All-but-the-Top: Einfache und effektive Postverarbeitung für Wortrepräsentationen

Jiaqi Mu; Suma Bhat; Pramod Viswanath

Zusammenfassung

Reelle Wortrepräsentationen haben die Anwendungen der Natural Language Processing (NLP) revolutioniert; bekannte Beispiele sind word2vec und GloVe, die für ihre Fähigkeit zur Erfassung linguistischer Regularitäten anerkannt sind. In dieser Arbeit zeigen wir eine {\em sehr einfache}, dennoch kontraintuitiv erscheinende, Postverarbeitungstechnik – das Entfernen des gemeinsamen Mittelvektors und einiger dominierender Richtungen von den Wortvektoren –, die vorgefertigte Repräsentationen {\em noch stärker} macht. Die Postverarbeitung wurde anhand einer Vielzahl lexikalischer intrinsischer Aufgaben (Wortsimilarität, Konzeptkategorisierung, Wortanalogie) und satzbasierter Aufgaben (semantische Textähnlichkeit und Textklassifizierung) auf mehreren Datensätzen und mit verschiedenen Repräsentationsmethoden sowie Hyperparameterauswahlen in mehreren Sprachen empirisch überprüft; in jedem Fall waren die verarbeiteten Repräsentationen konsistent besser als die ursprünglichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp