
초록
신경 자동 회귀 분포 추정기(NADE)와 그 실수형 버전인 RNADE는 다양한 영역에서 다차원 데이터의 경쟁력 있는 밀도 모델입니다. 이러한 모델은 데이터 차원의 고정된 임의 순서를 사용합니다. 변수 순서의 처음에 위치한 변수들에 대해 조건부 확률을 쉽게 계산할 수 있으며, 마지막에 위치한 변수들을 마르코프 연쇄(Markov chain)로 소거(marginalize out)할 수 있지만, 다른 추론 작업은 근사 추론이 필요합니다. 본 연구에서는 모든 가능한 변수 순서에 대해 각각의 NADE 모델을 동시에 훈련시키는 효율적인 절차를 소개합니다. 이 절차는 모든 모델 간에 매개변수를 공유하여 수행됩니다. 따라서 각 추론 작업에 가장 적합한 모델을 사용할 수 있으며, 서로 다른 순서를 가진 이러한 모델들의 앙상블(ensemble)은 즉시 사용 가능합니다. 또한 원래의 NADE와 달리, 우리의 훈련 절차는 깊은(deep) 모델에도 적용 가능합니다. 경험적으로, 깊은 NADE 모델들의 앙상블은 최고 수준의 밀도 추정 성능을 보여주었습니다.