GAN에서 클래스 또는 연속 변수에 조건부한 실제적인 이미지의 효율적인 하향 샘플링

최근 들어, 무조건적 GAN(conditional GANs, cGANs)에서 생성된 이미지에 대한 하위 샘플링 또는 정밀화 기법이 이미지 품질 향상을 위해 적극적으로 연구되고 있다. 그러나 이러한 방법들은 종종 조건부 GANs(cGANs)에 적용할 경우 효과적이거나 효율적이지 못한 것으로 관측된다. 여기서 cGANs는 클래스 조건(즉, 클래스 조건부 GANs) 또는 연속 변수 조건(즉, 연속 조건부 GANs 또는 CcGANs)을 기반으로 한다. 본 연구에서는 조건부 GANs에서 고품질 이미지를 효율적으로 샘플링하기 위한 효과적인 하위 샘플링 기법인 조건부 밀도 비율을 기반으로 한 거부 샘플링(conditional density ratio-guided rejection sampling, cDR-RS)을 제안한다. 구체적으로, 먼저 조건부 소프트플러스(cSP) 손실과 개선된 특징 추출 메커니즘을 제안함으로써 새로운 조건부 밀도 비율 추정 방법인 cDRE-F-cSP를 개발한다. 이후 cSP 손실을 사용해 훈련된 밀도 비율 모델의 오차 한계를 이론적으로 도출한다. 마지막으로, 생성된 가짜 이미지의 추정된 조건부 밀도 비율을 기반으로 해당 이미지를 수용하거나 거부한다. 또한, CcGAN에서 샘플링 시 이미지의 레이블 일관성을 높이되 다양성은 손실하지 않도록 하는 필터링 기법도 함께 개발하였다. 제안한 cDR-RS는 다섯 개의 벤치마크 데이터셋을 대상으로 클래스 조건부 GANs 및 CcGANs에서의 샘플링 성능에 대해 광범위하게 평가하였다. 클래스 조건부 GANs에서 샘플링할 경우, cDR-RS는 현존하는 최신 기술들(단, DRE-F-SP+RS를 제외하고)에 비해 훨씬 뛰어난 성능을 보였다. 비록 cDR-RS의 성능이 DRE-F-SP+RS와 유사한 수준에 머무르는 경우가 많지만, cDR-RS는 상당히 더 효율적이다. 특히 CcGAN에서의 샘플링에서는 성능과 효율성 모두에서 cDR-RS의 우월성이 더욱 두드러진다. 특히 합리적인 계산 자원 소모를 통해 cDR-RS는 CcGAN 생성 이미지의 다양성 손실 없이 레이블 스코어(Label Score)를 크게 감소시킬 수 있다. 반면, 다른 기법들은 레이블 스코어의 약간 향상을 위해 상당한 다양성 희생을 감수해야 하는 경우가 많다.