17日前
GANの訓練を確率比のクリッピングとサンプルの再重み付けにより改善する
Yue Wu, Pan Zhou, Andrew Gordon Wilson, Eric P. Xing, Zhiting Hu

要約
視覚関連の広範な問題において成功を収めている生成対抗ネットワーク(GAN)は、特にテキスト生成において、訓練の不安定性により性能が劣ることが多い。この問題を解決するために、我々は訓練の安定性に優れた新たな変分GAN訓練フレームワークを提案する。本手法は、変分的視点からGANと強化学習の間にある関連性に着想を得ている。この関連性により、(1) 生成器の訓練を正則化し、更新量が極端に大きくなるのを防ぐための確率比のクリッピング、および (2) 良質でない偽サンプルの影響を軽減することで識別器の訓練を改善するためのサンプル再重み付け機構が導かれる。さらに、本変分GANフレームワークは、多くのGANで見られる訓練上の問題——最適な識別器が生成器の訓練に有用な勾配を提供できない——を理論的に克服できることを保証できる。この訓練手法を多様な最先端GANアーキテクチャに組み込むことで、テキスト生成、テキストスタイル変換、画像生成など、さまざまなタスクにおいて顕著な性能向上が達成された。