Tobias Vontobel Seyedmorteza Sadat Farnood Salehi Romann M. Weber

초록

확산 모델은 이미지 합성에서 선두 주자로 부상하여 뛰어난 사진적 사실감과 다양성을 보여주고 있습니다. 그러나 고해상도에서의 확산 모델 훈련은 여전히 계산적으로 비용이 많이 들며, 기존의 제로샷 생성 기술을 사용하여 훈련 해상도를 초월하는 이미지를 합성할 때 종종 객체 중복 및 공간 일관성 부족 등의 아티팩트가 발생합니다. 본 논문에서는 사전 훈련된 확산 모델을 사용하여 초고해상도 이미지 합성에서 시각적 충실도와 구조적 일관성을 크게 향상시키는 훈련이 필요 없는 제로샷 접근법인 HiWave를 소개합니다. 우리의 방법은 두 단계 파이프라인을 채택합니다: 사전 훈련된 모델로부터 기본 이미지를 생성한 후, 패치별 DDIM 역전 과정과 새로운 웨이블릿 기반 세부 강화 모듈을 적용합니다. 구체적으로, 먼저 역전 방법을 사용하여 기본 이미지의 전역 일관성을 유지하는 초기 노이즈 벡터를 도출합니다. 그 다음, 샘플링 과정에서 웨이블릿 영역 세부 강화기는 기본 이미지의 저주파 성분을 유지하여 구조적 일관성을 보장하면서, 고주파 성분을 선택적으로 안내하여 미세한 세부 정보와 질감을 풍부하게 합니다. Stable Diffusion XL을 사용한 광범위한 평가 결과, HiWave는 이전 방법들에서 자주 발생하는 일반적인 시각적 아티팩트를 효과적으로 완화하며 우수한 지각적 품질을 달성함을 입증하였습니다. 사용자 연구에서도 HiWave의 성능이 확인되었으며, 80% 이상의 비교에서 최신 대안보다 더 우수하다는 평가를 받았습니다. 이는 재훈련이나 구조 수정 없이 고품질의 초고해상도 이미지 합성을 위한 HiWave의 효율성을 강조하고 있습니다.