조건부 확산 생성을 위한 엔트로피 기반 샘플링 및 훈련 방식

노이즈 제거 확산 확률 모델(Denoising Diffusion Probabilistic Model, DDPM)은 사전 노이즈에서 실제 데이터로의 유연한 조건부 이미지 생성을 가능하게 하며, 각 추론 단계에서 독립적인 노이즈 인지 분류기를 도입하여 조건부 그래디언트 안내를 제공한다. 그러나 분류기가 고수준의 구조만으로 완전히 생성되지 않은 이미지를 쉽게 구분할 수 있는 특성으로 인해, 클래스 정보를 반영하는 그래디언트가 조기 소멸되는 경향이 있으며, 이로 인해 조건부 생성 과정이 무조건부 생성 과정으로 붕괴되는 문제가 발생한다. 이 문제를 해결하기 위해 본 연구에서는 두 가지 간단하면서도 효과적인 접근법을 두 가지 관점에서 제안한다. 샘플링 절차 측면에서는, 예측 분포의 엔트로피를 그래디언트 소멸 수준의 측정 지표로 도입하고, 조건부 의미적 안내를 적응적으로 회복하기 위한 엔트로피 인지 스케일링 방법을 제안한다. 학습 단계에서는 노이즈 데이터에 대한 과도한 확신 예측을 완화하기 위해 엔트로피 인지 최적화 목표를 제안한다. ImageNet1000 256x256 데이터셋에서 제안한 샘플링 방식과 훈련된 분류기를 활용할 경우, 사전 훈련된 조건부 및 무조건부 DDPM 모델은 각각 FID 지표에서 10.89% (4.59 → 4.09) 및 43.5% (12 → 6.78)의 개선을 달성한다. 코드는 https://github.com/ZGCTroy/ED-DPM 에서 공개되어 있다.