17 天前

基于概率比率裁剪与样本重加权的GAN训练优化

Yue Wu, Pan Zhou, Andrew Gordon Wilson, Eric P. Xing, Zhiting Hu
基于概率比率裁剪与样本重加权的GAN训练优化
摘要

尽管生成对抗网络(GANs)在诸多视觉相关任务中取得了显著成功,但在文本生成等任务中仍常因训练不稳定而表现欠佳。为解决这一问题,本文提出一种新型变分GAN训练框架,该框架具有更优的训练稳定性。我们的方法受变分视角下GAN与强化学习之间关联的启发,由此导出两个关键机制:(1)概率比裁剪(probability ratio clipping),用于正则化生成器训练,防止更新步长过大;(2)样本重加权机制,通过降低劣质假样本的权重来提升判别器的训练效果。此外,所提出的变分GAN框架在理论上可克服传统GAN中一个普遍存在的训练难题——即最优判别器无法为生成器训练提供有效梯度。通过将该训练方法集成至多种前沿GAN架构中,我们在文本生成、文本风格迁移及图像生成等多个任务上均实现了显著的性能提升。