17일 전
생성 모델을 위한 최적의 예산 제한된 거부 샘플링
Alexandre Verine, Muni Sreenivas Pydi, Benjamin Negrevergne, Yann Chevaleyre

초록
최근 들어 판별기 기반 생성 모델의 성능을 향상시키기 위해 거부 샘플링(Rejection sampling) 기법이 제안되었으나, 이러한 방법들은 무제한의 샘플링 예산을 가정할 때에만 최적임을 보이며, 일반적으로 거부 절차와 별도로 훈련된 생성기(generator)에 적용된다. 본 연구에서는 주어진 샘플링 예산 하에서 진정한 분포와 거부 후 분포 사이의 \textit{임의의} $f$-발산(f-divergence)에 대해 증명 가능한 최적성을 보장하는 최적 예산 거부 샘플링(Optimal Budgeted Rejection Sampling, OBRS) 기법을 제안한다. 또한, 샘플링 절차를 훈련 과정에 직접 통합하여 모델의 전반적인 성능을 더욱 향상시키는 엔드 투 엔드(end-to-end) 방법을 제안한다. 실험과 이론적 근거를 통해 제안된 방법들이 샘플의 품질과 다양성을 크게 향상시키는 데 효과적임을 입증한다.