Pénalité de gradient vue du point de vue de la marge maximale

Une heuristique couramment utilisée pour améliorer les performances des réseaux antagonistes génératifs (GANs) consiste à appliquer une pénalité sur le gradient au niveau du discriminateur. Cette pénalité sur le gradient a initialement été motivée par une formulation basée sur la distance de Wasserstein. Toutefois, son utilisation dans d'autres formulations de GANs n'est pas bien justifiée. Nous proposons un cadre unificateur fondé sur la maximisation de la marge attendue, et montrons que diverses variantes de GANs pénalisées par le gradient (par exemple, Wasserstein, Standard, Least-Squares et Hinge GANs) peuvent toutes être dérivées de ce cadre. Nos résultats impliquent que l'application de pénalités sur le gradient conduit à un classificateur à grande marge (et donc à un discriminateur à grande marge dans les GANs). Nous expliquons comment la maximisation de la marge attendue contribue à réduire le phénomène de gradients disparus aux échantillons faux (générés), un problème bien connu dans les GANs. À partir de ce cadre, nous dérivons une nouvelle pénalité sur la norme du gradient $L^\infty$ combinée à une perte Hinge, qui produit généralement des résultats de génération équivalents (ou supérieurs) à ceux obtenus avec des pénalités de norme $L^2$ (selon la distance de Fréchet Inception).