초록
신경 자동 회귀 밀도 추정기(NADE)의 훈련은 데이터에서 누락된 값을 대상으로 한 단계의 확률적 추론을 수행하는 것으로 볼 수 있다. 우리는 이 추론 방식을 여러 단계로 확장하는 새로운 모델을 제안하며, $k$단계에 걸쳐 재구성을 개선하는 것이 단일 추론 단계에서 재구성을 학습하는 것보다 더 쉽다고 주장한다. 제안된 모델은 딥 러닝을 위한 비지도 학습 구성 요소로, NADE와 다중 예측 훈련의 바람직한 특성을 결합한다: (1) 테스트 가능도를 해석적으로 계산할 수 있으며, (2) 독립적인 샘플을 쉽게 생성할 수 있으며, (3) 볼츠만 머신(Boltzmann machine)의 변분 추론(variational inference)을 포함하는 추론 엔진을 사용한다. 제안된 NADE-k는 두 개의 데이터셋에서 밀도 추정에 있어 최신 기술과 경쟁력을 갖추고 있다.