자유형태 이미지 인페인팅을 위한 게이트 컨볼루션

우리는 자유형 마스크와 가이드를 사용하여 이미지를 완성하는 생성 이미지 인페인팅 시스템을 제시합니다. 이 시스템은 추가적인 라벨링 작업 없이 수백만 개의 이미지에서 학습된 게이트 컨볼루션(gated convolutions)을 기반으로 합니다. 제안된 게이트 컨볼루션은 모든 입력 픽셀을 유효한 것으로 취급하는 일반 컨볼루션(vanilla convolution)의 문제를 해결하며, 각 채널과 공간 위치에 대해 학습 가능한 동적 특징 선택 메커니즘을 제공하여 부분 컨볼루션(partial convolution)을 일반화합니다. 또한, 자유형 마스크는 임의의 위치와 형태로 이미지 어디에나 나타날 수 있으므로, 단일 직사각형 마스크를 위한 글로벌 및 로컬 GANs는 적용할 수 없습니다. 따라서, 우리는 스펙트럼 정규화(spectral-normalized)된 판별자를 밀집한 이미지 패치(dense image patches)에 적용하여 SN-패치GAN(SN-PatchGAN)이라는 패치 기반 GAN 손실 함수도 제시합니다. SN-패치GAN은 공식화가 간단하고, 훈련이 빠르고 안정적입니다. 자동 이미지 인페인팅과 사용자 지도 확장 결과는 우리의 시스템이 이전 방법보다 더 높은 품질과 유연성을 갖춘 결과를 생성함을 보여줍니다. 우리의 시스템은 사용자가 방해되는 객체를 신속하게 제거하고, 이미지 레이아웃을 수정하며, 워터마크를 제거하고 얼굴을 편집하는 데 도움을 줍니다. 코드, 데모 및 모델은 다음 주소에서 이용 가능합니다: https://github.com/JiahuiYu/generative_inpainting