CR-Fill: 보조적 문맥 복원을 통한 생성형 이미지 인페인팅

최근의 딥 생성형 보정( inpainting) 방법들은 생성자(generator)가 알려진 영역에서 특징 패치를 명시적으로 빌려와 누락된 영역을 보완할 수 있도록 주의(attention) 계층을 활용한다. 그러나 누락된 영역과 알려진 영역 사이의 대응 관계에 대한 감독 신호가 부족하기 때문에 적절한 참조 특징을 찾지 못할 수 있으며, 이로 인해 결과물에 아티팩트가 발생하는 경우가 흔하다. 또한 추론 과정에서 전체 특징 맵 간의 쌍별 유사도를 계산하므로 상당한 계산 부담이 발생한다. 이러한 문제를 해결하기 위해, 보조적인 문맥 재구성(task)을 공동 학습함으로써 주의 없이 작동하는 생성자에게 이러한 패치 빌림 행위를 학습시키는 방법을 제안한다. 이는 주변 영역에 의해 재구성되어도 생성된 출력이 합리적이게 되도록 유도한다. 보조 브랜치는 학습 가능한 손실 함수로 간주할 수 있으며, 이를 문맥 재구성(CR) 손실이라 명명한다. 여기서 쿼리-참조 특징 유사도와 참조 기반 재구성기(reference-based reconstructor)가 보정 생성자와 함께 공동 최적화된다. 보조 브랜치(즉, CR 손실)는 학습 과정에서만 필요하며, 추론 시에는 오직 보정 생성자만이 사용된다. 실험 결과는 제안하는 보정 모델이 정량적 및 시각적 성능 측면에서 최신 기술 대비 유리한 성능을 보임을 입증한다. 코드는 https://github.com/zengxianyu/crfill 에서 제공된다.