Qualitätsbewusste Generative Adversarial Networks

Generative Adversarial Networks (GANs) sind zu einem sehr beliebten Werkzeug für die implizite Lernung hochdimensionaler Wahrscheinlichkeitsverteilungen geworden. Mehrere Verbesserungen wurden an der ursprünglichen GAN-Formulierung vorgenommen, um einige ihrer Nachteile wie Modenkollaps, Konvergenzprobleme, Verknotung und schlechte visuelle Qualität zu beheben. Obwohl erhebliche Anstrengungen unternommen wurden, um die visuelle Qualität von durch GANs generierten Bildern zu verbessern, ist es überraschend, dass objektive Bildqualitätsmetriken weder als Kostenfunktionen noch als Regularisierer in den Zielfunktionen von GANs eingesetzt wurden. In dieser Arbeit zeigen wir, wie eine Distanzmetrik, die eine Variante des Structural SIMilarity (SSIM)-Index (eines weit verbreiteten vollreferenzbasierten Bildqualitätsbewertungsalgorithmus) ist, und eine neuartige qualitätssensible Diskriminator-Gradientenstrafefunktion, die sich an dem Natural Image Quality Evaluator (NIQE) (einem weit verbreiteten referenzfreien Bildqualitätsbewertungsalgorithmus) orientiert, jeweils ausgezeichnet als Regularisierer in den Zielfunktionen von GANs verwendet werden können. Insbesondere demonstrieren wir den Stand der Technik unter Verwendung des Wasserstein GAN Gradient Penalty (WGAN-GP)-Frameworks auf den Datensätzen CIFAR-10, STL10 und CelebA.