반복형 신경 자동회귀 분포 추정기 NADE-k

신경형 자동회귀 밀도 추정기(NADE)의 학습은 데이터 내 누락된 값에 대한 확률적 추론의 한 단계를 수행하는 것으로 볼 수 있다. 우리는 이러한 추론 방식을 다수의 단계로 확장하는 새로운 모델을 제안하며, 단일 추론 단계에서 재구성하는 것보다 k단계에 걸쳐 재구성을 개선하는 것을 학습하는 것이 더 쉬울 것이라고 주장한다. 제안하는 모델은 딥러닝을 위한 비지도 학습 빌딩 블록으로, NADE와 다중 예측 학습의 장점을 결합하고 있다. 구체적으로, (1) 테스트 로그우도(log-likelihood)를 해석적으로 계산할 수 있으며, (2) 독립적인 샘플을 쉽게 생성할 수 있으며, (3) 보르츠만 기계(Boltzmann machines)에 대한 변분 추론(variational inference)의 초집합인 추론 엔진을 사용한다. 제안한 NADE-k는 실험한 두 데이터셋에서 밀도 추정 측면에서 최신 기술 수준과 경쟁 가능한 성능을 보였다.