로컬 클래스 특정 및 글로벌 이미지 수준의 생성적 적대 신경망을 이용한 의미 지도형 장면 생성

본 논문에서는 의미 지도형 장면 생성(task of semantic-guided scene generation)을 다룬다. 장면 생성 분야에서 여전히 해결되지 않은 주요 과제 중 하나는 소형 객체 및 세부적인 국소 텍스처 생성의 어려움이며, 이는 전반적인 이미지 수준의 생성 방법에서 널리 관찰된 문제이다. 본 연구에서는 이 문제를 해결하기 위해 국소적 맥락에서 장면 생성을 학습하는 접근법을 고려하며, 의미 지도(semantic maps)를 지침으로 사용하는 국소적 클래스 특화 생성 네트워크를 설계한다. 이 네트워크는 각 클래스의 생성에 집중하는 하위 생성기(sub-generators)를 별도로 구축하고 학습함으로써 더 풍부한 장면 세부 정보를 제공할 수 있다. 국소 생성을 위한 더 구분력 있는 클래스 특화 특징 표현을 학습하기 위해, 새로운 분류 모듈도 제안한다. 전역 이미지 수준 생성과 국소 클래스 특화 생성의 장점을 통합하기 위해, 주의 집중(fusion) 모듈과 이중 판별기(dual-discriminator) 구조를 내장한 공동 생성 네트워크(joint generation network)도 설계하였다. 두 가지 장면 이미지 생성 작업에 대한 광범위한 실험 결과, 제안한 모델이 우수한 생성 성능을 보였으며, 도전적인 공개 벤치마크에서도 상태 최신(SOTA) 성능을 크게 앞서는 결과를 달성하였다. 소스 코드와 학습된 모델은 https://github.com/Ha0Tang/LGGAN 에서 공개되어 있다.