事전 학습만으로 이미지-이미지 변환이 가능하다

우리는 사전 학습(pretraining)을 활용하여 일반적인 이미지-이미지 변환(image-to-image translation)의 성능을 향상시키는 방법을 제안합니다. 이전의 이미지-이미지 변환 방법들은 보통 전용 아키텍처 설계가 필요하며, 복잡한 장면의 고품질 생성에 어려움을 겪었으며 특히 짝을 이루는 학습 데이터(paired training data)가 충분하지 않은 경우 더욱 그러했습니다. 본 논문에서는 각각의 이미지-이미지 변환 문제를 하류 작업(downstream task)으로 간주하고, 다양한 종류의 이미지-이미지 변환에 적응할 수 있는 사전 학습된 확산 모델(pretrained diffusion model)을 적용하는 간단하고 일반적인 프레임워크를 소개합니다. 또한, 확산 모델 학습 중 텍스처 합성을 강화하기 위해 적대적 학습(adversarial training) 방식을 제안하며, 정규화된 가이드 샘플링(normalized guidance sampling)과 함께 사용하여 생성 품질을 개선합니다. ADE20K, COCO-Stuff, DIODE 등 도전적인 벤치마크에서 다양한 작업들에 대한 광범위한 경험적 비교를 통해 제안된 사전 학습 기반 이미지-이미지 변환(PITI) 방법이 이전에 없던 수준의 현실성과 충실성을 갖춘 이미지를 합성할 수 있음을 보여줍니다.