L'entraînement de l'estimateur de densité auto-régressif neuronal (NADE) peut être considéré comme une étape d'inférence probabiliste sur les valeurs manquantes dans les données. Nous proposons un nouveau modèle qui étend ce schéma d'inférence à plusieurs étapes, soutenant que il est plus facile d'apprendre à améliorer une reconstruction en $k$k étapes plutôt que d'apprendre à reconstruire en une seule étape d'inférence. Le modèle proposé constitue un bloc de construction non supervisé pour l'apprentissage profond qui combine les propriétés souhaitables du NADE et de l'entraînement multi-prédicatif : (1) sa vraisemblance de test peut être calculée analytiquement, (2) il est facile de générer des échantillons indépendants à partir de celui-ci, et (3) il utilise un moteur d'inférence qui est un sur-ensemble de l'inférence variationnelle pour les machines de Boltzmann. Le NADE-$k$k proposé est compétitif avec l'état de l'art en estimation de densité sur les deux jeux de données testés.