要約
ニューラルオートレグレッシブ密度推定器（NADE）の学習は、データ中の欠損値に対する確率的推論の一歩として捉えることができます。本研究では、この推論スキームを複数ステップに拡張する新しいモデルを提案します。単一の推論ステップで再構成を行うよりも、$k$ ステップで再構成の改善を学習することが容易であるという考えに基づいています。提案されたモデルは、深層学習のための非教師あり学習の基本構成要素であり、NADEと多段予測学習の望ましい特性を組み合わせています：(1) テスト尤度を解析的に計算できる、(2) そのモデルから独立したサンプルを生成しやすい、(3) ボルツマンマシンの変分推論を超える推論エンジンを使用している。提案される NADE-k は、2つのデータセットでの密度推定において最先端技術と競争力があります。