학습된 사전을 통한 흐름 기반 생성 초해상도 모델의 성능 향상

기반 흐름(flow-based) 초해상도 재구성(SR) 모델은 고품질 이미지를 생성하는 데 놀라운 능력을 보여왔다. 그러나 이러한 방법은 이미지 생성 과정에서 격자 아티팩트(grid artifacts), 역함수의 발산(exploding inverses), 고정된 샘플링 온도로 인한 최적화되지 않은 결과와 같은 여러 도전 과제에 직면해 있다. 이러한 문제를 해결하기 위해 본 연구는 기반 흐름 SR 모델의 추론 단계에 조건부 학습된 사전(prior)을 도입한다. 이 사전은 저해상도 이미지에 조건부로 작동하는 본 연구에서 제안한 잠재 모듈(latent module)에 의해 예측되는 잠재 코드(latent code)이며, 이후 흐름 모델을 통해 고해상도 이미지로 변환된다. 제안하는 프레임워크는 기존의 현대적 기반 흐름 SR 모델의 아키텍처나 사전 훈련된 가중치를 수정하지 않고도 원활하게 통합될 수 있도록 설계되었다. 제안된 프레임워크의 효과성은 광범위한 실험과 아블레이션 분석을 통해 평가되었다. 실험 결과, 제안된 프레임워크는 기반 흐름 SR 모델의 내재적 문제를 모두 해결하며, 다양한 초해상도 재구성 시나리오에서 모델 성능을 향상시켰다. 본 연구의 코드는 다음과 같은 주소에서 공개되어 있다: https://github.com/liyuantsao/BFSR