En considérant les réseaux de neurones récurrents (RNN) comme des systèmes dynamiques à temps continu, nous proposons une unité récurrente qui décrit l'évolution de l'état caché en deux parties : une composante linéaire bien comprise et une non-linéarité lipschitzienne. Cette forme fonctionnelle particulière facilite l'analyse de la stabilité du comportement à long terme de l'unité récurrente en utilisant des outils issus de la théorie des systèmes non linéaires. Ceci permet, à son tour, de prendre des décisions architecturales avant l'expérimentation. Nous obtenons des conditions suffisantes pour la stabilité globale de l'unité récurrente, ce qui motive un nouveau schéma pour construire les matrices d'état caché à état caché. Nos expériences montrent que le RNN lipschitzien peut surpasser les unités récurrentes existantes sur une gamme de tâches de référence, notamment en vision par ordinateur, modélisation linguistique et prédiction vocale. Enfin, grâce à une analyse basée sur le hessien, nous démontrons que notre unité récurrente lipschitzienne est plus robuste face aux perturbations des entrées et des paramètres par rapport aux autres RNN à temps continu.