HyperAIHyperAI

Command Palette

Search for a command to run...

Tous les plongements lexicaux à partir d'un seul plongement

Sho Takase; Sosuke Kobayashi

Résumé

Dans les modèles basés sur les réseaux de neurones pour le traitement du langage naturel (NLP), la plus grande partie des paramètres consiste souvent en des plongements de mots (word embeddings). Les modèles conventionnels préparent une grande matrice de plongement dont la taille dépend de la taille du vocabulaire. Par conséquent, le stockage de ces modèles en mémoire et sur le disque est coûteux. Dans cette étude, afin de réduire le nombre total de paramètres, les plongements de tous les mots sont représentés par la transformation d'un plongement partagé. La méthode proposée, ALONE (all word embeddings from one), construit le plongement d'un mot en modifiant le plongement partagé avec un vecteur filtre spécifique à chaque mot mais non entraînable. Ensuite, nous introduisons ce plongement construit dans un réseau neuronal à alimentation directe pour augmenter son expressivité. Naïvement, les vecteurs filtres occupent la même taille mémoire que la matrice de plongement conventionnelle, qui dépend également de la taille du vocabulaire. Pour résoudre ce problème, nous introduisons également une approche efficace en mémoire pour la construction des vecteurs filtres. Nous montrons que notre méthode ALONE peut être utilisée comme représentation de mots suffisamment grâce à une expérience sur la reconstruction des plongements de mots pré-entraînés. De plus, nous menons également des expériences sur des tâches d'application NLP : traduction automatique et résumé automatique. Nous avons combiné ALONE avec l'actuel modèle d'encodeur-décodeur le plus performant, le Transformer, et avons obtenu des scores comparables sur la traduction anglais-allemand du WMT 2014 et le résumé très court du DUC 2004 avec moins de paramètres.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp