PixelCNN 디코더를 사용한 조건부 이미지 생성

이 연구는 PixelCNN 아키텍처를 기반으로 하는 새로운 이미지 밀도 모델을 사용하여 조건부 이미지 생성을 탐구합니다. 이 모델은 설명적 라벨이나 태그, 또는 다른 네트워크에서 생성된 잠재적 임베딩 등 어떤 벡터에도 조건부로 적용될 수 있습니다. ImageNet 데이터베이스의 클래스 라벨에 조건부로 적용할 때, 이 모델은 다양한 동물, 물체, 풍경 및 구조물을 대표하는 실제적인 장면들을 생성할 수 있습니다. 미지의 얼굴 하나만 주어진 경우, 합성곱 네트워크가 생성한 임베딩에 조건부로 적용하면 같은 사람의 다양한 표정, 자세 및 조명 상태를 가진 새로운 초상화들을 생성할 수 있습니다. 또한, 제안된 모델의 게이티드 합성곱 층은 PixelCNN의 로그-우도를 크게 줄인 계산 비용으로 PixelRNN과 동등한 최신 성능을 달성하도록 개선합니다. 우리는 또한 조건부 PixelCNN이 이미지 오토인코더의 강력한 디코더 역할을 할 수 있음을 보여줍니다.