HyperAIHyperAI

Command Palette

Search for a command to run...

Tout-sauf-le-Sommet : Posttraitement simple et efficace pour les représentations de mots

Jiaqi Mu; Suma Bhat; Pramod Viswanath

Résumé

Les représentations réelles des mots ont transformé les applications de traitement du langage naturel (NLP) ; des exemples populaires sont word2vec et GloVe, reconnus pour leur capacité à capturer des régularités linguistiques. Dans cet article, nous démontrons une technique de post-traitement {\em très simple} mais contre-intuitive -- éliminer le vecteur moyen commun et quelques directions dominantes supérieures des vecteurs de mots -- qui rend les représentations prêtes à l'emploi {\em encore plus performantes}. Cette technique de post-traitement est validée empiriquement sur une variété de tâches intrinsèques au niveau lexical (similarité lexicale, catégorisation conceptuelle, analogie lexicale) et au niveau des phrases (similarité textuelle sémantique et classification de texte) sur plusieurs jeux de données et avec diverses méthodes de représentation et choix d'hyperparamètres dans plusieurs langues ; dans chaque cas, les représentations traitées sont systématiquement meilleures que les originales.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp