Évaluation empirique des réseaux neuronaux récurrents à portes pour la modélisation de séquences

Dans cet article, nous comparons différents types d'unités récurrentes dans les réseaux de neurones récurrents (RNN). Nous nous concentrons particulièrement sur des unités plus sophistiquées qui mettent en œuvre un mécanisme de porte, telles que l'unité de mémoire à court et long terme (LSTM) et l'unité récurrente à portes (GRU) récemment proposée. Nous évaluons ces unités récurrentes sur les tâches de modélisation musicale polyphonique et de modélisation de signaux vocaux. Nos expériences ont montré que ces unités récurrentes avancées sont effectivement meilleures que les unités récurrentes traditionnelles comme les unités tanh. De plus, nous avons constaté que la GRU est comparable à la LSTM.