17日前

識別器コントラストダイバージェンス:識別器のエネルギーを探索する半アンモルタイズド生成モデル

Yuxuan Song, Qiwei Ye, Minkai Xu, Tie-Yan Liu
識別器コントラストダイバージェンス:識別器のエネルギーを探索する半アンモルタイズド生成モデル
要約

生成対抗ネットワーク(GAN)は、高次元データのモデリングにおいて大きな可能性を示している。GANの学習目的関数は、一般的にいくつかの測度の乖離を最小化することを目的としており、例えば $f$-ダイバージェンス($f$-GAN)や積分確率度量(Wasserstein GAN)などが用いられる。$f$-ダイバージェンスを目的関数として用いる場合、識別器(discriminator)は密度比を推定する役割を果たし、その推定された密度比は生成器のサンプル品質をさらに向上させるために有用であることが示されている。一方で、Wasserstein GAN(WGAN)における識別器が持つ情報をどのように活用するかについては、まだ十分に検討されていない。本論文では、WGANの識別器の性質およびWGANとエネルギーに基づくモデル(energy-based model)との関係性に着目し、識別器対比ダイバージェンス(Discriminator Contrastive Divergence)を提案する。従来のGANでは生成器を直接用いて新しいサンプルを生成するのに対し、本手法は生成器の出力を初期状態とし、その後、識別器の勾配を用いて数ステップのランジュバンダイナミクス(Langevin dynamics)を実行する半アモルタイズド(semi-amortized)な生成手順を提案する。合成データおよび複数の実世界画像生成ベンチマークにおいて、本手法が生成品質を顕著に向上させることを実証した。

識別器コントラストダイバージェンス:識別器のエネルギーを探索する半アンモルタイズド生成モデル | 最新論文 | HyperAI超神経