SHOT-VAE: 레이블 인지 ELBO 근사 기반의 반감독 딥 생성 모델

반감독 학습 변분 오토인코더(Variational Autoencoders, VAEs)는 우수한 성과를 거두었지만, 뛰어난 ELBO(Expectation Lower BOund) 값이 항상 정확한 추론 결과를 보장하지는 않는 문제에 직면해 있다. 본 논문에서는 이 문제의 두 가지 원인을 탐구하고 제안한다: (1) ELBO 목적함수는 레이블 정보를 직접 활용할 수 없다는 점, (2) ELBO 값에 대한 최적화가 특정 한계점 이후에도 지속될 경우 추론 정확도 향상이 이루어지지 않는 ' bottleneck 현상'이 존재한다는 점이다. 실험 결과를 바탕으로, 추가적인 사전 지식 없이도 이러한 문제를 해결할 수 있는 SHOT-VAE를 제안한다. SHOT-VAE는 다음과 같은 두 가지 기여를 한다: (1) 레이블 예측 손실을 ELBO에 통합한 새로운 ELBO 근사 기법인 smooth-ELBO를 제안한다. (2) 최적 보간법 기반의 근사 방식을 도입하여, ELBO와 데이터 가능도 사이의 간격을 줄여 ELBO 값의 한계를 극복한다. SHOT-VAE는 CIFAR-100에서 10,000개의 레이블을 사용할 때 25.30%의 오차율을 달성하며, CIFAR-10에서는 4,000개의 레이블로 6.11%의 오차율까지 감소시켰다.