17일 전
자르기된 확산 확률 모델과 확산 기반 적대적 오토인코더
Huangjie Zheng, Pengcheng He, Weizhu Chen, Mingyuan Zhou

초록
전방 확산 체인을 활용하여 데이터를 점차적으로 잡음 분포로 매핑함으로써, 확산 기반 생성 모델은 역확산 체인을 추론함으로써 데이터 생성 방식을 학습한다. 그러나 이 접근법은 전방 및 역방향 단계를 다수 필요로 하기 때문에 느리고 비용이 크다. 본 연구에서는 데이터가 순수한 난수 분포가 되기까지 잡음을 추가하는 것이 아니라, 우리가 확신을 가지고 학습할 수 있는 은닉된 잡음 데이터 분포에 도달할 때까지 잡음을 추가하는 더 빠르고 저비용의 접근법을 제안한다. 이후 이 은닉된 분포(잡음 데이터와 유사하게 만든)를 시작점으로 하여 적은 수의 역방향 단계만으로 데이터를 생성한다. 우리는 제안된 모델이 확산 과정과 학습 가능한 암묵적 사전(implicit prior)에 의해 강화된 적대적 오토인코더로 해석될 수 있음을 밝혔다. 실험 결과, 역방향 확산 단계 수를 크게 줄였음에도 불구하고, 제안된 절단된 확산 확률 모델은 무조건적 및 텍스트 유도 이미지 생성 모두에서 비절단 모델보다 일관된 성능 향상을 제공함을 보여주었다.