
딥 신경망의 성능을 향상시키기 위한 데이터 증강은 사실상의 표준 기법이지만, 생성적 적대 신경망(GAN)을 위한 증강 전략 개발에는 거의 주목되지 않았다. 이를 해결하기 위해 본 연구는 GAN 기반의 의미적 이미지 합성 모델에 특화된 새로운 증강 방식을 제안한다. 우리는 생성자에 입력으로 사용되는 의미 레이블 맵 내 객체의 형태를 무작위로 왜곡하는 방식을 제안한다. 왜곡된 레이블 맵과 비왜곡 레이블 맵 간의 국소적 형태 차이를 통해 GAN은 장면의 구조적 및 기하학적 세부 정보를 더 잘 학습할 수 있게 되며, 그 결과 생성된 이미지의 품질이 향상된다. 기존의 순수한(GAN 모델과 비교하여) 기준 모델을 평가하면서, 기존 의미적 이미지 합성 연구에서 보고된 정량적 지표가 외부 사전 훈련된 세그멘테이션 네트워크를 통해 도출되면서 특정 의미 클래스에 대해 강하게 편향되어 있음을 발견하였다. 따라서 우리는 주어진 세그멘테이션 네트워크에 대해 편향된 클래스와 편향되지 않은 클래스로 나누어 생성된 이미지의 성능을 별도로 분석함으로써 기존 의미적 이미지 합성 평가 체계를 개선할 것을 제안한다. 마지막으로, 다양한 데이터셋(세 가지)과 최신 의미적 이미지 합성 모델을 대상으로 본 증강 방식이 클래스 분할 상관없이 강력한 정량적 및 정성적 성능 향상을 제공함을 보여준다. COCO-Stuff, ADE20K, Cityscapes 데이터셋을 종합적으로 고려할 때, 증강된 모델은 기존 모델보다 평균적으로 ~3 mIoU 및 ~10 FID 점수에서 우수한 성능을 보였다.