Vers une meilleure compréhension et régularisation de la dynamique d'entraînement des GAN

Les réseaux de neurones adverses génératifs (GANs) sont notoirement difficiles à entraîner et les raisons sous-jacentes à leurs comportements de (non-)convergence ne sont toujours pas entièrement comprises. En considérant d'abord un exemple simple mais représentatif de GAN, nous analysons mathématiquement son comportement de convergence locale de manière non asymptotique. Par la suite, cette analyse est étendue aux GANs généraux sous certaines hypothèses. Nous constatons que pour garantir une bonne vitesse de convergence, deux facteurs du jacobien dans la dynamique d'entraînement des GANs doivent être simultanément évités : (i) le Facteur de Phase, c'est-à-dire que le jacobien possède des valeurs propres complexes avec un grand rapport entre la partie imaginaire et la partie réelle, et (ii) le Facteur de Conditionnement, c'est-à-dire que le jacobien est mal conditionné. Les méthodes précédentes de régularisation du jacobien ne peuvent atténuer qu'un seul de ces deux facteurs, tout en aggravant l'autre. Ainsi, nous proposons une nouvelle régularisation du jacobien pour les GANs (JARE), qui aborde simultanément les deux facteurs par construction. Enfin, nous menons des expériences qui confirment notre analyse théorique et démontrent les avantages de JARE par rapport aux méthodes précédentes pour stabiliser les GANs.