ノイズ除去密度推定を用いた生成モデルの学習

サンプル集合の密度を推定し、その密度からサンプルを生成することができる確率モデルの学習は、教師なし機械学習における基本的な課題の一つである。本研究では、ニューラルネットワークによってパラメータ化されたスカラー関数であるノイズ除去密度推定器（Denoising Density Estimators: DDEs）に基づく新しい生成モデルを提案する。DDEsは、データのカーネル密度推定を効率的に表現できるように訓練される。DDEsを活用することで、本研究の主な貢献は、直接KLダイバージェンスを最小化することにより生成モデルを構築する新しい手法の開発である。我々は、生成モデルを獲得するためのアルゴリズムが正しい解に保証付きで収束することを証明した。本手法は、正規化フロー（normalizing flows）で求められる特定のネットワークアーキテクチャを必要とせず、連続正規化フロー（continuous normalizing flows）で用いられる通常の微分方程式ソルバも不要である。実験結果により、密度推定性能において顕著な向上が得られ、生成モデルの訓練においても競争力のある性能が確認された。