要約
リプリカ交換モンテカルロ法（reMC、別名：並列温度法）は、従来のマルコフ連鎖モンテカルロ（MCMC）アルゴリズムの収束速度を加速するための重要な手法である。しかし、この手法は全データセットに基づくエネルギー関数の評価を必要とし、ビッグデータに対してスケーラブルではない。ミニバッチ設定下でのreMCの単純な実装は大きなバイアスを引き起こすため、深層ニューラルネットワーク（DNN）のサンプリングに標準的に用いられる確率的勾配MCMC（SGMCMC）へ直接拡張することが困難である。本稿では、バイアスを自動的に補正する適応型リプリカ交換SGMCMC（reSGMCMC）を提案し、その性質について検討する。理論的分析から、確率的環境下におけるマルコフ跳躍過程の数値離散化において、加速性と精度のトレードオフが生じることが示唆される。実験的に、様々な設定において広範な実験を実施した結果、教師あり学習および半教師あり学習の両タスクにおいて、CIFAR10、CIFAR100、SVHNのいずれにおいても、現在の最先端性能を達成した。