
摘要
生成对抗网络(GANs)以其训练难度著称,其收敛行为(或不收敛行为)的原因至今尚未完全明了。通过首先考虑一个简单但具有代表性的GAN示例,我们对其局部收敛行为进行了非渐近的数学分析。此外,在某些假设条件下,我们将这一分析扩展到了一般的GAN模型。我们发现,为了确保良好的收敛速度,GAN训练动力学中的雅可比矩阵应同时避免两个因素:(i) 相位因子(Phase Factor),即雅可比矩阵具有复特征值且虚部与实部之比较大;(ii) 条件因子(Conditioning Factor),即雅可比矩阵条件数较差。以往的方法在正则化雅可比矩阵时只能缓解其中一个因素,而使另一个因素更加严重。因此,我们提出了一种新的生成对抗网络雅可比正则化方法(JAcobian REgularization, JARE),该方法从构造上同时解决了这两个问题。最后,我们进行了实验验证,确认了我们的理论分析,并展示了JARE在稳定GANs方面的优势。