Real-ESRGAN: 순수 합성 데이터를 이용한 실세계 맹목적 초해상도 훈련

다양한 실세계 저해상도 이미지의 미지이자 복잡한 왜곡을 복원하기 위한 블라인드 슈퍼리졸루션 기법들이 다수 제안되었으나, 여전히 일반적인 실세계 왜곡 이미지를 효과적으로 처리하기에는 부족한 실정이다. 본 연구에서는 순수 합성 데이터로 훈련된 실용적인 복원 응용 기법(즉, Real-ESRGAN)을 제안하며, 강력한 ESRGAN 기반 아키텍처를 확장하였다. 구체적으로, 복잡한 실세계 왜곡을 보다 정확히 모사하기 위해 고차원 왜곡 모델링 과정을 도입하였다. 또한 합성 과정에서 흔히 발생하는 리bbing 및 오버슈트 아티팩트를 고려하여 보다 현실적인 데이터를 생성하였다. 더불어, 주파수 정규화를 적용한 U-Net 기반 디스크리미네이터를 도입함으로써 디스크리미네이터의 성능을 향상시키고 훈련 동역학의 안정성을 확보하였다. 다양한 실세계 데이터셋에 대한 광범위한 비교 결과, 기존의 방법들에 비해 뛰어난 시각적 성능을 입증하였다. 또한 실시간으로 훈련 쌍을 생성할 수 있는 효율적인 구현 방안도 함께 제시한다.