2달 전

깊이 있고 처리 가능한 밀도 추정기

Benigno Uria; Iain Murray; Hugo Larochelle
깊이 있고 처리 가능한 밀도 추정기
초록

신경 자동 회귀 분포 추정기(NADE)와 그 실수형 버전인 RNADE는 다양한 영역에서 다차원 데이터의 경쟁력 있는 밀도 모델입니다. 이러한 모델은 데이터 차원의 고정된 임의 순서를 사용합니다. 변수 순서의 처음에 위치한 변수들에 대해 조건부 확률을 쉽게 계산할 수 있으며, 마지막에 위치한 변수들을 마르코프 연쇄(Markov chain)로 소거(marginalize out)할 수 있지만, 다른 추론 작업은 근사 추론이 필요합니다. 본 연구에서는 모든 가능한 변수 순서에 대해 각각의 NADE 모델을 동시에 훈련시키는 효율적인 절차를 소개합니다. 이 절차는 모든 모델 간에 매개변수를 공유하여 수행됩니다. 따라서 각 추론 작업에 가장 적합한 모델을 사용할 수 있으며, 서로 다른 순서를 가진 이러한 모델들의 앙상블(ensemble)은 즉시 사용 가능합니다. 또한 원래의 NADE와 달리, 우리의 훈련 절차는 깊은(deep) 모델에도 적용 가능합니다. 경험적으로, 깊은 NADE 모델들의 앙상블은 최고 수준의 밀도 추정 성능을 보여주었습니다.

깊이 있고 처리 가능한 밀도 추정기 | 최신 연구 논문 | HyperAI초신경