L'apprentissage de représentations hiérarchiques et temporelles a toujours été l'un des défis majeurs des réseaux neuronaux récurrents. Les réseaux neuronaux récurrents à échelle multiple ont été considérés comme une approche prometteuse pour résoudre ce problème, mais il manquait jusqu'à présent des preuves empiriques démontrant que ces modèles pouvaient effectivement capturer les dépendances temporelles en découvrant la structure hiérarchique latente de la séquence. Dans cet article, nous proposons une nouvelle approche à échelle multiple, appelée réseaux neuronaux récurrents hiérarchiques à échelle multiple, qui peut capturer la structure hiérarchique latente dans la séquence en encodant les dépendances temporelles avec différentes échelles de temps grâce à un nouveau mécanisme de mise à jour. Nous présentons quelques preuves que notre architecture multiscale proposée peut découvrir la structure hiérarchique sous-jacente dans les séquences sans utiliser d'informations frontières explicites. Nous évaluons notre modèle proposé sur le modèle de langage au niveau des caractères et le modèle de séquence d'écriture manuscrite.