Partiellement Mélanger les Données d'Entraînement pour Améliorer les Modèles de Langage

Bien que la descente de gradient stochastique (SGD) nécessite le mélange des données d'entraînement entre les époques, aucun des systèmes actuels de modélisation linguistique au niveau des mots ne le fait. Mélanger naïvement toutes les phrases des données d'entraînement n'autoriserait pas le modèle à apprendre les dépendances interphrastiques. Nous présentons ici une méthode qui mélange partiellement les données d'entraînement entre les époques. Cette méthode rend chaque lot aléatoire tout en conservant l'ordre de la plupart des phrases. Elle obtient de nouveaux résultats d'état de l'art en modélisation linguistique au niveau des mots sur les jeux de données Penn Treebank et WikiText-2.