초록
비지도 이미지-이미지 변환은 생성적 적대 네트워크(GANs) 기반의 최근 놀라운 발전으로 인해 상당한 주목을 받고 있습니다. 그러나 이전 방법들은 특히 이미지에 여러 대상 인스턴스가 있고, 변환 작업이 형태에 큰 변화를 요구하는 경우, 예를 들어 패션 이미지에서 바지를 스커트로 변환하는 등의 어려운 사례에서 종종 실패합니다. 이러한 문제들을 해결하기 위해, 우리는 인스턴스 정보(예: 객체 분할 마스크)를 통합하고 다중 인스턴스 변형을 개선하는 새로운 방법인 인스턴스 인식 GAN(InstaGAN)을 제안합니다. 제안된 방법은 이미지와 해당 인스턴스 속성 집합을 모두 변환하면서 인스턴스의 순열 불변성을 유지합니다. 이를 위해, 우리는 타겟 인스턴스 외부에서 네트워크가 항등 함수를 학습하도록 유도하는 컨텍스트 보존 손실(context preserving loss)을 도입하였습니다. 또한, 제한된 GPU 메모리를 사용하여 여러 인스턴스를 처리하고, 네트워크가 다중 인스턴스에 대해 더 잘 일반화하도록 하는 순차적 미니 배치 추론/훈련 기술을 제안합니다. 우리의 비교 평가는 다양한 이미지 데이터셋에서 특히 위에서 언급한 어려운 사례들에서 제안된 방법의 효과성을 입증합니다. 코드와 결과는 https://github.com/sangwoomo/instagan 에서 확인할 수 있습니다.