SinDiffusion: 단일 자연 이미지에서 확산 모델 학습

우리는 단일 자연 이미지의 패치 내부 분포를 포착하기 위해 노이즈 제거 확산 모델을 활용한 SinDiffusion을 소개합니다. SinDiffusion은 기존의 GAN 기반 접근법과 비교하여 생성된 샘플의 품질과 다양성을 크게 개선합니다. 이는 두 가지 핵심 설계에 기반합니다. 첫째, SinDiffusion은 여러 모델이 점진적으로 스케일을 늘려가는 방식 대신 단일 스케일에서 단일 모델로 훈련됩니다. 이는 생성 결과에서 특징적인 아티팩트를 일으키는 오류 누적을 피할 수 있습니다. 둘째, 확산 네트워크의 패치 수준 수용 영역이 이미지의 패치 통계를 포착하는 데 중요한 역할을 한다는 것을 확인하였습니다. 따라서 우리는 확산 모델의 네트워크 구조를 재설계하였습니다. 이러한 두 가지 설계를 결합함으로써 우리는 단일 이미지로부터 사진처럼 사실적이고 다양한 이미지를 생성할 수 있게 되었습니다. 또한, 확산 모델의 고유한 능력을 바탕으로 SinDiffusion은 텍스트 안내 이미지 생성 및 이미지 외부 채색 등 다양한 응용 분야에 적용될 수 있습니다. 다양한 이미지에 대한 광범위한 실험을 통해 제안된 방법론이 패치 분포 모델링에서 우수함을 입증하였습니다.