소프트 절단: 고정밀 스코어 추정을 위한 스코어 기반 확산 모델의 보편적인 학습 기법

최근 디퓨전 모델의 발전은 이미지 생성 과제에서 최첨단 성능을 달성하고 있다. 그러나 이전 연구에서 도출된 실험 결과는 밀도 추정 성능과 샘플 생성 성능 사이에 역상관 관계가 존재함을 시사한다. 본 논문은 충분한 실험적 증거를 바탕으로, 이러한 역상관 관계가 발생하는 이유는 밀도 추정이 주로 짧은 디퓨전 시간에 의해 크게 기여되는 반면, 샘플 생성은 주로 긴 디퓨전 시간에 의존하기 때문임을 규명한다. 그러나 모든 디퓨전 시간에 걸쳐 스코어 네트워크를 효과적으로 학습하는 것은 각 시간 단계에서 손실 스케일의 극심한 불균형으로 인해 매우 어려운 과제이다. 따라서 성공적인 학습을 위해 본 연구는 디퓨전 모델에 보편적으로 적용 가능한 새로운 학습 기법인 소프트 트런케이션(Soft Truncation)을 제안한다. 이 기법은 고정된 정적 트런케이션 하이퍼파라미터를 확률 변수로 부드럽게 변환함으로써 학습 안정성을 향상시킨다. 실험 결과, 소프트 트런케이션은 CIFAR-10, CelebA, CelebA-HQ 256x256, STL-10 데이터셋에서 최첨단 성능을 달성하였다.