ニューラルオートレグレッシブ分布推定器（Neural Autoregressive Distribution Estimator: NADE）およびその実数値版RNADEは、様々な領域において多次元データの競争力のある密度モデルを提供しています。これらのモデルは、データの次元に対して固定された任意の順序を使用します。順序の最初に位置する変数には容易に条件付けが可能であり、順序の最後に位置する変数はマージナライズすることができますが、他の推論タスクには近似推論が必要です。本研究では、各変数のすべての可能な順序に対するNADEモデルをパラメータ共有によって同時に訓練する効率的な手順を導入します。これにより、各推論タスクに最も適したモデルを使用でき、異なる順序を持つDeep NADEモデルのアンサンブルもすぐに利用可能となります。さらに、元のNADEとは異なり、私たちの訓練手順は深層モデルにもスケールします。経験的に、Deep NADEモデルのアンサンブルは最先端の密度推定性能を達成しています。