Modélisation linguistique par réseau de neurones utilisant des caractéristiques basées sur les lettres et un échantillonnage par importance

Dans cet article, nous décrivons une extension de l’outil logiciel Kaldi destinée à supporter la modélisation linguistique basée sur les réseaux de neurones, conçue pour être utilisée dans la reconnaissance automatique de la parole (ASR) et des tâches connexes. Nous combinons l’utilisation de caractéristiques de sous-mots (n-grammes de lettres) et du codage one-hot des mots fréquents afin que les modèles puissent gérer des vocabulaires de grande taille contenant des mots rares. Nous proposons une nouvelle fonction objectif permettant l’entraînement de probabilités non normalisées. Une méthode basée sur un échantillonnage d’importance est intégrée pour accélérer l’entraînement lorsque le vocabulaire est important. Les résultats expérimentaux obtenus sur cinq corpus montrent que Kaldi-RNNLM se compare avantageusement aux autres outils de modélisation linguistique à réseaux de neurones récurrents en termes de performance et de vitesse d’entraînement.