Noam Issachar Guy Yariv Sagie Benaim Yossi Adi Dani Lischinski Raanan Fattal

초록

확산 트랜스포머 모델은 놀라운 정확도와 세부 사항을 갖춘 이미지를 생성할 수 있으나, 이미지 토큰 수에 따라 자기 주의(self-attention) 메커니즘이 이차적으로 증가하는 특성으로 인해 초고해상도에서의 학습은 여전히 매우 비용이 많이 든다. 본 논문에서는 사전 학습된 확산 트랜스포머 모델이 학습 데이터를 훨씬 초월하는 해상도로 이미지를 생성할 수 있도록 해주는, 학습이 필요 없는 새로운 방법인 동적 위치 보간(Dynamic Position Extrapolation, DyPE)을 제안한다. 이 방법은 추가적인 샘플링 비용 없이도 고해상도 이미지 생성을 가능하게 한다. DyPE는 확산 과정 내재의 주파수 진동 특성, 즉 저주파 구조는 조기 수렴하고 고주파는 더 많은 단계를 거쳐 해소되는 현상을 활용한다. 구체적으로 DyPE는 확산 과정의 각 단계에서 모델의 위치 인코딩을 동적으로 조정하여, 현재 생성 과정의 단계와 주파수 스펙트럼을 일치시킨다. 이러한 접근을 통해 학습 해상도를 훨씬 초월하는 이미지를 생성할 수 있으며, 예를 들어 FLUX 모델을 활용해 1,600만 픽셀 이상의 해상도 이미지를 생성할 수 있다. 다양한 벤치마크에서 DyPE는 일관되게 성능을 향상시키며, 초고해상도 이미지 생성 분야에서 최고 수준의 정확도를 달성하였으며, 해상도가 높을수록 성능 향상이 더욱 두드러진다. 프로젝트 페이지는 다음 링크에서 확인할 수 있다: https://noamissachar.github.io/DyPE/.