고해상도 이미지 합성 및 의미 조작을 위한 조건부 GANs

우리는 조건부 생성적 적대 네트워크(conditional GANs)를 사용하여 의미 라벨 맵에서 고해상도의 사진 같은 이미지를 합성하는 새로운 방법을 제시합니다. 조건부 GANs는 다양한 응용 분야를 가능하게 했지만, 그 결과는 종종 저해상도에 국한되고 여전히 현실감이 부족했습니다. 본 연구에서는 새로운 적대 손실 함수와 다중 스케일 생성기 및 판별기 구조를 통해 2048x1024 해상도의 시각적으로 매력적인 결과를 생성합니다. 또한, 우리의 프레임워크를 두 가지 추가 기능으로 확장하여 상호작용적인 시각 조작을 가능하게 합니다. 첫째, 객체 인스턴스 분할 정보를 통합하여 객체 제거/추가 및 객체 카테고리 변경과 같은 객체 조작을 수행할 수 있습니다. 둘째, 동일한 입력에 대해 다양한 결과를 생성하는 방법을 제안하여 사용자가 객체의 외관을 상호작용적으로 편집할 수 있도록 합니다. 인간 평가 연구는 우리의 방법이 기존 방법보다 현저히 우수함을 입증하며, 딥 이미지 합성 및 편집의 품질과 해상도를 크게 개선했습니다.