레이아웃에서 이미지로의 조건부 합성곱 예측 학습을 통한 의미론적 이미지 합성

의미론적 이미지 합성은 의미론적 레이아웃에서 사진처럼 사실적인 이미지를 생성하는 것을 목표로 한다. 기존의 조건부 생성 적대 신경망(Conditional GAN) 기반 접근법은 이 과제에서 최고의 성능을 보였으며, 이는 의미론적 레이블 맵을 생성기의 입력으로 제공하거나, 애핀 변환을 통해 정규화 계층의 활성화를 조절하는 방식을 사용한다. 본 연구에서는 생성기 내의 합성곱 커널이 이미지 생성 시 서로 다른 위치에 존재하는 다양한 의미론적 레이블을 인지해야 한다고 주장한다. 의미론적 레이아웃을 생성기의 효율적 활용을 위해, 노이즈 맵에서 중간 특징 맵을 생성하기 위해 의미론적 레이블 맵에 조건부로 합성곱 커널을 예측하는 새로운 방식을 제안한다. 또한, 이전의 다중 해상도 판별기보다 생성된 이미지와 입력 의미론적 레이아웃 간의 세부 구조 강화 및 의미론적 정렬을 더 효과적으로 수행할 수 있는 특징 피라미드 의미론적 임베딩 판별기(FPN-SEM)를 제안한다. 다양한 의미론적 세그멘테이션 데이터셋에서 정량적 지표와 주관적 평가 모두에서 최고 수준의 성능을 달성함으로써, 제안한 방법의 효과성을 입증하였다.