초록
이미지 재구성 및 합성 분야는 생성 모델의 발전 덕분에 놀라운 진전을 이루었으나, 특히 주파수 도메인에서 실제 이미지와 생성된 이미지 사이에 여전히 격차가 존재할 수 있다. 본 연구에서는 주파수 도메인 내 격차를 좁히는 것이 이미지 재구성 및 합성 품질을 더욱 향상시킬 수 있음을 보여준다. 우리는 생성이 어려운 주파수 성분에 대해 모델이 적절히 집중할 수 있도록, 생성이 쉬운 성분은 가중치를 낮추는 방식으로 적응적으로 학습하도록 하는 새로운 '초점 주파수 손실(Focal Frequency Loss)'을 제안한다. 이 목적 함수는 기존의 공간적 손실과 보완적으로 작용하며, 신경망의 본질적인 편향으로 인한 중요한 주파수 정보 손실에 대해 뛰어난 저항력을 제공한다. 우리는 제안한 초점 주파수 손실이 VAE, pix2pix, SPADE와 같은 대표적인 모델들에서 인지적 품질과 정량적 성능 측면에서 모두 뛰어난 개선 효과를 보임을 입증하였다. 또한 이 방법이 StyleGAN2에서도 큰 잠재력을 지니고 있음을 보여주었다.