세마틱 블로크너트 시나리오 생성

라벨 조건부 이미지 합성 기법의 고정밀 생성 능력과 무조건적 생성 모델의 유연성을 결합하여, 복잡한 장면의 무조건적 합성용 의미적 봉쇄(GAN) 모델을 제안한다. 학습 과정에서는 픽셀 단위의 세그멘테이션 레이블이 사전에 제공된다고 가정하고, 이를 통해 장면의 구조를 학습한다. 추론 시에는 모델이 먼저 현실적인 세그멘테이션 레이아웃을 처음부터 생성한 후, 그 레이아웃을 조건으로 현실적인 장면을 생성한다. 첫 번째 단계에서는 현실적인 의미적 장면 레이아웃의 분포를 포착하는 무조건적 점진적 세그멘테이션 생성 네트워크를 사용하고, 두 번째 단계에서는 의미 레이아웃을 조건으로 한 사진 수준의 현실성 있는 이미지 분포를 포착하는 조건부 세그멘테이션-이미지 합성 네트워크를 활용한다. 엔드 투 엔드로 훈련된 본 모델은 Frechet Inception Distance(FID) 및 사용자 평가를 기준으로 두 가지 도전적인 도메인에서 최신 기술을 능가하는 비지도 이미지 합성 성능을 보였다. 더불어, 생성된 세그멘테이션 맵이 최근의 세그멘테이션-이미지 합성 네트워크의 성능을 크게 향상시키기 위한 보조 학습 데이터로 활용될 수 있음을 실험을 통해 입증하였다.