COCO-GAN: 조건부 조정을 통한 부분별 생성

인간은 생물학적 제약으로 인해 주변 환경의 일부만 상호작용할 수 있습니다. 따라서 우리는 일련의 관찰을 통해 주변 환경을 조각조각 맞추어 공간적 관계를 추론하는 방법을 배웁니다. 이러한 행동과 기계 역시 계산적 제약이 있다는 사실에서 영감을 받아, 우리는 생성자가 이미지를 부분적으로 생성할 때 그 부분들의 공간 좌표를 조건으로 사용하는 \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN)을 제안합니다. 반면에, 판별자는 전반적인 일관성, 국소적인 외관, 그리고 경계선 교차 연속성을 통해 여러 조각이 모여 만들어진 이미지의 실제성을 검증하도록 학습됩니다. 훈련 중 전체 이미지가 결코 생성되지 않음에도 불구하고, COCO-GAN은 추론 시 \textbf{최고 수준의 품질}을 가진 전체 이미지를 생성할 수 있음을 보입니다. 또한 네트워크가 좌표에 대한 인식력을 갖도록 교육함으로써 다양한 새로운 응용 프로그램이 가능해짐을 입증합니다.첫째, 학습된 좌표 다양체(coordinate manifold)로 외삽(extrapolation)을 수행하여 경계 밖 패치를 생성합니다. 원래 생성된 전체 이미지와 결합하면 COCO-GAN은 훈련 샘플보다 큰 이미지를 만들 수 있으며, 이를 "경계 너머 생성"이라고 합니다. 둘째, 원통 좌표계(cylindrical coordinate system) 내에서 파노라마 이미지를 생성하여 본질적으로 수평 순환 위상을 유지하는 것을 보여줍니다. 계산 측면에서는 COCO-GAN이 내재된 분할 및 정복 패러다임(divide-and-conquer paradigm)을 가지고 있어 훈련과 추론 시 메모리 요구량을 줄이고, 고도의 병렬성을 제공하며, 필요에 따라 이미지의 일부만 생성할 수 있습니다.