이질적으로 필터링된 스펙트럼 힌트를 활용한 이미지 보완

대규모 자유형 누락 영역을 가진 이미지 보완은 컴퓨터 비전 분야에서 가장 도전적인 과제 중 하나이다. 연구자들이 더욱 우수한 해결책을 모색하는 과정에서 패턴 무시, 흐릿한 질감, 구조 왜곡 등의 단점이 여전히 두드러지며, 개선의 여지가 남아 있다. 이러한 문제를 극복하기 위해, 우리는 새로운 스타일 기반 이미지 보완 네트워크인 스펙트럴 힌트 GAN(Spectral Hint GAN, SH-GAN)을 제안한다. 이 네트워크 내부에는 신중하게 설계된 스펙트럴 처리 모듈인 스펙트럴 힌트 유닛(Spectral Hint Unit)이 도입되었다. 또한, 현대 딥러닝 모델과 잘 맞는 두 가지 새로운 2D 스펙트럴 처리 전략인 이질적 필터링(Heterogeneous Filtering)과 가우시안 분할(Gaussian Split)을 제안한다. 이 전략들은 향후 다른 작업에도 확장 가능하다. 포괄적인 실험을 통해, 본 모델이 기준 데이터셋 FFHQ와 Places2에서 각각 FID 점수 3.4134와 7.0277을 달성함으로써 기존 연구들을 능가하고 새로운 최고 성능(SOTA)을 달성함을 입증하였다. 또한, 제거 실험(Ablation Study)을 통해 제안한 설계의 효과성을 입증하였으며, 패턴 무시, 흐릿한 질감, 구조 왜곡 등의 전술한 문제들이 뚜렷하게 개선됨을 확인할 수 있다. 본 연구의 코드는 다음과 같은 주소에서 오픈소스로 제공될 예정이다: https://github.com/SHI-Labs/SH-GAN.