대규모 이미지 보정을 위한 공조조절형 생성적 적대 신경망

이미지 보완을 위한 조건부 생성적 적대 신경망의 수많은 특화된 변종이 개발되어 왔으나, 기존 알고리즘들은 대규모 누락 영역을 처리할 때 여전히 심각한 실패를 보이는 한계가 존재한다. 이 도전 과제를 극복하기 위해, 우리는 조건부 스타일 표현과 확률적 스타일 표현을 동시에 조절하는 공조 조절(co-modulation)을 통해 이미지 조건부 기반과 최근의 조절 가능한 무조건적 생성 아키텍처 간의 격차를 해소하는 보편적인 새로운 접근법을 제안한다. 또한 이미지 보완에 대한 효과적인 정량적 평가 지표가 부족한 상황에서, 특징 공간 내 선형 가분성(linear separability)을 기반으로 보완된 이미지와 실제 이미지 간의 지각적 정확도를 견고하게 측정할 수 있는 새로운 Paired/Unpaired Inception Discriminative Score (P-IDS/U-IDS)를 제안한다. 실험 결과, 자유형 이미지 보완(free-form image completion)에서 최첨단 기법들에 비해 품질과 다양성 측면에서 우수한 성능을 입증하였으며, 이미지-이미지 번역(image-to-image translation)으로의 간편한 일반화도 가능함을 확인하였다. 코드는 https://github.com/zsyzzsoft/co-mod-gan 에서 공개되어 있다.