L'entraînement de l'estimateur de densité autoregressif à réseau de neurones (NADE) peut être vu comme l'accomplissement d'une étape d'inférence probabiliste sur des valeurs manquantes dans les données. Nous proposons un nouveau modèle qui étend ce schéma d'inférence à plusieurs étapes, en argumentant que l'apprentissage d'une amélioration progressive de la reconstruction sur $k$k étapes est plus facile que l'apprentissage d'une reconstruction en une seule étape d'inférence. Le modèle proposé constitue un bloc de construction non supervisé pour l'apprentissage profond, combinant les propriétés souhaitables du NADE et de l'entraînement multi-prédicteur : (1) sa vraisemblance en test peut être calculée analytiquement, (2) il est facile d'engendrer des échantillons indépendants à partir de ce modèle, et (3) il utilise un moteur d'inférence qui constitue un sur-ensemble de l'inférence variationnelle pour les machines de Boltzmann. Le NADE-k proposé se montre compétitif face aux méthodes de pointe en estimation de densité sur les deux jeux de données testés.