Les réseaux de neurones récurrents (RNNs) sont largement utilisés dans le domaine des neurosciences comme modèles d'activité neuronale locale. De nombreuses propriétés des RNNs individuels sont bien caractérisées théoriquement, mais la neurosciences expérimentales se sont orientées vers l'étude de plusieurs zones en interaction, et la théorie des RNNs doit être étendue de manière similaire. Nous adoptons une approche constructive pour aborder ce problème, en utilisant des outils issus de la théorie du contrôle non linéaire et de l'apprentissage automatique pour déterminer quand les combinaisons de RNNs stables seront elles-mêmes stables. Importamment, nous établissons des conditions qui permettent des connexions de rétroaction massives entre les RNNs en interaction. Nous paramétrisons ces conditions pour faciliter leur optimisation à l'aide de techniques basées sur le gradient, et montrons que les « réseaux de réseaux » contraints par la stabilité peuvent bien performer sur des tâches de référence complexes impliquant un traitement séquentiel. Dans son ensemble, notre travail fournit une approche fondée sur des principes pour comprendre la fonction distribuée et modulaire dans le cerveau.