Régularisation des Réseaux de Neurones Récurents

Nous présentons une technique de régularisation simple pour les Réseaux de Neurones Récurrents (RNN) avec des unités de Mémoire à Court et Long Terme (LSTM). La méthode du dropout, la plus efficace pour la régularisation des réseaux de neurones, ne fonctionne pas bien avec les RNN et LSTM. Dans cet article, nous montrons comment appliquer correctement le dropout aux LSTM, et démontrons qu'il réduit considérablement le surapprentissage sur diverses tâches. Ces tâches comprennent la modélisation linguistique, la reconnaissance vocale, la génération de légendes d'images et la traduction automatique.