초록
우리는 확률적 추론을 위해 주어진 대상 분포에서 샘플을 추출하도록 스토캐스틱 신경망을 훈련시키는 간단한 알고리즘을 제안합니다. 우리의 방법은 신경망 매개변수를 반복적으로 조정하여 출력이 대상 분포와의 KL 발산을 최대한 줄이는 스타인 변동 그래디언트(Stein variational gradient)를 따라 변화하도록 하는 데 기반합니다. 우리의 방법은 그들의 비정규화 밀도 함수로 지정된 어떤 대상 분포에 대해서도 작동하며, 우리가 적응하려는 매개변수 측면에서 미분 가능한 모든 블랙박스 아키텍처를 훈련시킬 수 있습니다. 우리의 방법의 응용으로, 딥 에너지 모델(deep energy model)을 훈련시키기 위한 암모르타이즈드 MLE 알고리즘을 제안합니다. 여기서 신경 샘플러(neural sampler)는 가능도 함수(likelihood function)를 근사하도록 적응적으로 훈련됩니다. 우리의 방법은 딥 에너지 모델과 신경 샘플러 사이의 적대적 게임(adversarial game)을 모방하며, 최신 연구 결과와 경쟁할 수 있는 사실적인 이미지를 얻습니다.