극성 샘플링: 특이값을 통한 사전 훈련된 생성 네트워크의 품질 및 다양성 제어

우리는 사전 훈련된 깊이 있는 생성 모델(DGNs)의 생성 품질과 다양성을 제어하기 위한 이론적으로 타당한 플러그 앤 플레이(Plug-and-Play) 방법인 Polarity Sampling을 제안한다. DGN이 연속적인 조각별 선형 스플라인(continuous piecewise affine splines)이거나 그와 근사 가능하다는 사실을 활용하여, DGN의 출력 공간 분포를 DGN의 자코비안 특이값들(Jacobian singular values)의 곱을 지수 ρ로 거듭제곱한 값의 함수로 해석적으로 도출한다. 이때 ρ를 극성(polarity) 파라미터라 명명하며, ρ < 0인 경우 DGN의 샘플링이 출력 공간 분포의 모드(mode)에 집중되고, ρ > 0인 경우 반모드(anti-mode)에 집중됨을 증명한다. 다양한 최첨단 DGN 모델에 대해, 비제로인 극성 값이 기존의 절단(Truncation)과 같은 표준 방법보다 더 우수한 정밀도-재현율(Precision-Recall, 품질-다양성) 파레토 경계를 달성함을 실험적으로 입증한다. 또한 StyleGAN3, BigGAN-deep, NVAE 등 최첨단 DGN 모델을 대상으로 다양한 조건부 및 비조건부 이미지 생성 작업에서 전반적인 생성 품질 향상(예: 프레셰 인셉션 거리, FID 기준)에 대한 정량적 및 정성적 결과를 제시한다. 특히, Polarity Sampling은 FFHQ 데이터셋에서 StyleGAN2의 성능을 FID 2.57로, LSUN Car 데이터셋에서 StyleGAN2를 FID 2.27로, AFHQv2 데이터셋에서 StyleGAN3를 FID 3.95로 개선하여 각각 해당 모델의 최신 기준을 재정의한다. 데모: bit.ly/polarity-samp