비볼록 학습: 복제 교환 확률적 경사 MCMC를 통한 접근

복제 교환 몬테카를로(Replica Exchange Monte Carlo, reMC), 또는 평행 온도법이라고도 불리는 기법은 전통적인 마르코프 체인 몬테카를로(MCMC) 알고리즘의 수렴 속도를 가속화하는 데 중요한 역할을 한다. 그러나 이러한 방법은 전체 데이터셋을 기반으로 에너지 함수를 평가해야 하므로 대규모 데이터에 대해 확장성이 부족하다. 미니배치 환경에서 reMC를 단순하게 구현할 경우 큰 편향이 발생하며, 이는 심층 신경망(DNN)의 샘플링에 표준적으로 사용되는 확률적 경사 MCMC(SGMCMC)에 직접 확장될 수 없다. 본 논문에서는 이러한 편향을 자동으로 보정할 수 있는 적응형 복제 교환 SGMCMC(reSGMCMC)를 제안하고, 그에 따른 성질을 분석한다. 분석 결과는 확률적 환경에서 마르코프 점프 과정의 수치적 이산화 시 가속화와 정확도 사이의 트레이드오프가 존재함을 시사한다. 실증적으로는 다양한 설정에서 광범위한 실험을 통해 알고리즘을 평가하였으며, 감독 학습 및 반감독 학습 모두에서 CIFAR10, CIFAR100, SVHN에서 최신 기준(SOTA) 수준의 성능을 달성하였다.