인스턴스 조건부 GAN

생성적 적대 신경망(GAN)은 인간 얼굴과 같은 좁은 영역에서는 거의 사진과 유사한 이미지를 생성할 수 있다. 그러나 ImageNet 및 COCO-Stuff와 같은 복잡한 데이터셋의 분포를 무조건적(conditional 없이) 설정에서 모델링하는 것은 여전히 도전 과제이다. 본 논문에서는 커널 밀도 추정 기법에서 영감을 받아, 복잡한 데이터셋의 분포를 비모수적(non-parametric) 방식으로 모델링하는 접근법을 제안한다. 우리는 데이터 매니폴드를 데이터 포인트와 그 가장 가까운 이웃들로 구성된 겹치는 이웃 영역들의 혼합으로 분할하고, 각 데이터 포인트 주변의 분포를 학습하는 모델인 인스턴스 조건부 GAN(IC-GAN)을 도입한다. ImageNet과 COCO-Stuff에 대한 실험 결과는 IC-GAN이 무조건적 모델과 비지도 데이터 분할 기반 베이스라인보다 상당한 성능 향상을 보임을 보여준다. 또한, IC-GAN은 학습 시에 보지 않은 데이터셋에 대해 단순히 조건부 인스턴스를 변경함으로써 쉽게 전이 가능하며, 여전히 현실적인 이미지를 생성할 수 있음을 보여준다. 마지막으로, IC-GAN을 클래스 조건부 상황으로 확장하여 ImageNet에서 의미론적으로 조절 가능한 생성 성능을 달성하였으며, 정량적 평가에서도 경쟁력을 보였다. 특히, ImageNet-LT 데이터셋에서는 BigGAN을 개선하였다. 보고된 결과를 재현하기 위한 코드와 학습된 모델은 https://github.com/facebookresearch/ic_gan 에 공개되어 있다.