사전 구축 모델을 활용한 GAN 훈련을 위한 앙상블 기법

대규모 학습의 등장은 강력한 시각 인식 모델의 폭발적 증가를 가져왔다. 그러나 생성 모델, 예를 들어 GAN(Generative Adversarial Networks)은 전통적으로 비지도 학습 방식으로 처음부터 독립적으로 학습되어 왔다. 사전 학습된 시각 인식 모델의 방대한 집합에서 얻은 '지식'을 활용하여 GAN 학습을 개선할 수 있을까? 만약 가능하다면, 선택할 수 있는 모델이 너무 많을 경우 어떤 모델을 선택해야 하며, 어떤 방식으로 사용할 때 가장 효과적인가? 우리는 사전 학습된 컴퓨터 비전 모델을 판별자 집합(ensemble)에 활용할 경우 성능 향상이 상당히 가능하다는 것을 발견했다. 특히, 선택된 모델의 특정 서브셋이 성능에 큰 영향을 미친다. 우리는 사전 학습된 모델의 임베딩 공간에서 진짜 샘플과 위조 샘플 간의 선형 가분성(linear separability)을 탐색함으로써, 가장 정확한 모델을 선별하고, 이를 점진적으로 판별자 집합에 추가하는 효과적인 선택 메커니즘을 제안한다. 흥미롭게도, 본 방법은 데이터 양이 제한된 환경과 대규모 설정 모두에서 GAN 학습을 향상시킬 수 있다. 단지 10,000개의 훈련 샘플만을 사용할 경우, LSUN Cat 데이터셋에서의 FID(Frechet Inception Distance) 성능이 160만 장의 이미지로 훈련된 StyleGAN2와 동등해진다. 전체 데이터셋을 사용할 경우, LSUN의 고양이, 교회, 말 카테고리에서 FID 성능이 1.5배에서 2배까지 향상된다.