MaGNET: 재학습 없이 깊이 있는 생성 네트워크 매니폴드에서 균일한 샘플링

심층 생성망(Depth Generative Networks, DGNs)은 생성적 적대 신경망(Generative Adversarial Networks, GANs), 변분 오토인코더(Variational Autoencoders, VAEs) 및 그 변종에서 데이터의 다층 구조(manifold)와 분포를 근사하는 데 널리 활용된다. 그러나 데이터 수집의 비용이나 편의성으로 인해 훈련 샘플은 다층 구조 상에서 균일하게 분포하지 않는 경우가 많다. 예를 들어, CelebA 데이터셋은 웃는 얼굴의 비율이 매우 높다. 이러한 불균형은 훈련된 DGN에서 샘플링할 때 그대로 재현되며, 이는 공정성이나 데이터 증강과 같은 목적에서는 바람직하지 않을 수 있다. 이를 해결하기 위해 우리는 사전 훈련된 모든 DGN에 적용 가능한 새로운 이론적 기반을 지닌 잠재 공간 샘플러 MaGNET을 개발하였다. MaGNET은 학습된 다층 구조 상에서 샘플이 균일하게 분포되도록 보장한다. 다양한 데이터셋과 DGN에 대한 실험을 수행한 결과, FFHQ 데이터셋에 기반한 최신 기술인 StyleGAN2에 대해 MaGNET을 이용한 균일 샘플링은 분포 정밀도(precision)와 재현도(recall)를 각각 4.1% 및 3.0% 향상시키며, 성별 편향은 41.2% 감소시켰다. 이 과정에서 레이블 정보나 재훈련 없이도 가능하다. 다만, 균일한 분포가 의미적 분포를 균일하게 함을 의미하지는 않기 때문에, MaGNET 샘플링 하에서 생성된 샘플의 의미적 속성들이 어떻게 변화하는지 별도로 탐구하였다.