CM-GAN: 계단식 조절 GAN과 객체 인지 학습을 통한 이미지 보정

최근 이미지 보정 기법들은 큰 진전을 이루었지만, 복잡한 이미지에서 큰 구멍을 처리할 때 현실적인 이미지 구조를 생성하는 데 어려움을 겪는 경우가 많다. 이는 이미지의 장거리 의존성과 고수준 의미 정보를 효과적으로 포착할 수 있는 네트워크 구조의 부족과 관련이 있다. 본 연구에서는 입력 이미지의 구멍 부분으로부터 다중 해상도 특징 표현을 추출하는 푸리에 컨볼루션 블록을 갖춘 인코더와, 각 해상도 수준에 새로운 계단형 글로벌-공간 조절 블록을 포함한 이중 스트림 디코더로 구성된 새로운 네트워크 설계인 계단형 조절 GAN(CM-GAN)을 제안한다. 디코더 블록 내부에서는 먼저 글로벌 조절을 적용하여 거시적이고 의미 인지형 구조를 생성한 후, 공간적으로 적응적인 방식으로 특징 맵을 추가로 조정하기 위해 공간 조절을 수행한다. 또한, 실제 환경에서의 객체 제거 작업에 부합하기 위해 구멍 내부에 새로운 객체를 환상적으로 생성하는 것을 방지하기 위한 객체 인지 학습 전략을 설계하였다. 광범위한 실험을 통해 제안한 방법이 기존 기법들에 비해 정량적 및 정성적 평가 모두에서 뚜렷한 성능 우위를 보임을 입증하였다. 자세한 내용은 프로젝트 페이지를 참조하시기 바랍니다: \url{https://github.com/htzheng/CM-GAN-Inpainting}.