Liaison des vecteurs de mots et des classifieurs de mots : un cadre de perte pour la modélisation linguistique

Les réseaux de neurones récurrents ont connu un grand succès dans la prédiction de séquences de mots pour des tâches telles que le modèle de langage. Cependant, tous ces modèles reposent sur le cadre conventionnel de classification, où le modèle est formé à partir de cibles one-hot, et chaque mot est représenté tant en entrée qu'en sortie de manière isolée. Cela entraîne des inefficacités dans l'apprentissage, tant en termes d'utilisation de toutes les informations que du nombre de paramètres nécessaires pour l'entraînement. Nous présentons un nouveau cadre théorique qui facilite un meilleur apprentissage en modélisation linguistique, et montrons que notre cadre permet d'associer les matrices d'incrustation d'entrée et les matrices de projection de sortie, ce qui réduit considérablement le nombre de variables entraînables. Notre cadre conduit à des performances au niveau de l'état de l'art sur le Penn Treebank avec divers modèles de réseau.