Les architectures de réseaux neuronaux récurrents courantes ne s'échelonnent pas bien en raison de la difficulté inhérente à paralléliser leurs calculs d'état. Dans ce travail, nous proposons l'Unité Récursive Simple (Simple Recurrent Unit, SRU), une unité récursive légère qui équilibre la capacité du modèle et sa scalabilité. L'SRU est conçue pour fournir une récurrence expressive, permettre une mise en œuvre hautement parallélisée et inclure une initialisation soignée afin de faciliter l'entraînement des modèles profonds. Nous démontrons l'efficacité de l'SRU sur plusieurs tâches de traitement du langage naturel (NLP). L'SRU offre un accélération de 5 à 9 fois par rapport aux LSTM optimisées par cuDNN sur les jeux de données de classification et de réponse à des questions, tout en produisant des résultats plus robustes que ceux obtenus avec les LSTM et les modèles convolutifs. Nous obtenons également une amélioration moyenne de 0,7 BLEU par rapport au modèle Transformer sur les tâches de traduction en intégrant l'SRU dans l'architecture.