L'estimateur de distribution neuronale autoregressive (NADE) et sa version à valeurs réelles (RNADE) sont des modèles de densité compétitifs pour les données multidimensionnelles dans divers domaines. Ces modèles utilisent un ordre fixe et arbitraire des dimensions des données. Il est facile de conditionner les variables au début de l'ordre et de marginaliser celles à la fin, mais d'autres tâches d'inférence nécessitent une inférence approximative. Dans ce travail, nous introduisons une procédure efficace pour entraîner simultanément un modèle NADE pour chaque ordre possible des variables, en partageant les paramètres entre tous ces modèles. Nous pouvons ainsi utiliser le modèle le plus approprié pour chaque tâche d'inférence, et des ensembles de tels modèles avec différents ordres sont immédiatement disponibles. De plus, contrairement au NADE original, notre procédure d'entraînement s'adapte aux modèles profonds. Expérimentalement, les ensembles de modèles Deep NADE obtiennent des performances d'estimation de densité parmi les meilleures actuellement connues.