TextureGAN: 텍스처 패치를 이용한 딥 이미지 합성 제어

본 논문에서는 스케치, 색상, 텍스처를 통해 안내되는 딥 이미지 합성을 연구합니다. 이전의 이미지 합성 방법들은 스케치와 색상 스토크로 제어할 수 있었지만, 우리는 처음으로 텍스처 제어를 검토합니다. 사용자가 스케치 위에 임의의 위치와 크기로 텍스처 패치를 배치하여 원하는 출력 텍스처를 제어할 수 있도록 합니다. 우리의 생성 네트워크는 이러한 텍스처 제안과 일관된 객체들을 합성하도록 학습됩니다. 이를 위해 생성 네트워크를 훈련시키기 위해 적대적 손실(adversarial loss)과 콘텐츠 손실(content loss) 외에도 로컬 텍스처 손실(local texture loss)을 개발하였습니다. 실제 이미지에서 생성된 스케치와 별도의 텍스처 데이터베이스에서 샘플링한 텍스처를 사용하여 실험을 수행하였으며, 결과는 제안된 알고리즘이 사용자 제어에 충실하면서도 타당한 이미지를 생성할 수 있음을 보여줍니다. 아블레이션 연구(ablation studies)는 제안된 파이프라인이 기존 방법을 직접 적용하는 것보다 더 현실적인 이미지를 생성할 수 있음을 입증하였습니다.