要約
ニューラル自己回帰密度推定器（NADE）の学習は、データ中の欠損値に対する確率的推論の一ステップと見なすことができる。本研究では、この推論スキームを複数ステップに拡張する新しいモデルを提案する。その主張は、単一の推論ステップで再構成を学ぶよりも、$k$ ステップにわたって再構成を改善するように学習するほうが容易であるということである。提案するモデルは、深層学習における教師なし構成要素としての役割を果たすものであり、NADEと多段予測学習（multi-predictive training）の良好な特性を併せ持つ：（1）テスト時の尤度を解析的に計算可能であり、（2）独立なサンプルを容易に生成でき、（3）ボルツマン機械に対する変分推論の拡張である推論エンジンを用いている。提案するNADE-kは、検証された2つのデータセットにおいて、密度推定の分野で最先端の手法と競合する性能を示した。