Adaptiver gewichteter Diskriminator zur Schulung von Generativen adversarialen Netzwerken

Die generative adversarische Netzwerk-(GAN-)Architektur ist zu einem der wichtigsten neuronalen Netzwerkmodelle im Bereich des klassischen unsupervised Machine Learning geworden. Eine Vielzahl von Diskriminator-Verlustfunktionen wurde entwickelt, um GAN-Diskriminatoren zu trainieren, wobei alle diese Funktionen eine gemeinsame Struktur aufweisen: eine Summe aus echtem und gefälschtem Verlust, die jeweils nur von den tatsächlichen bzw. generierten Daten abhängt. Eine Herausforderung bei der gleichgewichteten Summe dieser beiden Verluste besteht darin, dass das Training einen Verlust fördern kann, während es den anderen schädigt – ein Phänomen, das wir als Ursache für Instabilität und Mode Collapse identifizieren. In diesem Artikel stellen wir eine neue Familie von Diskriminator-Verlustfunktionen vor, die eine gewichtete Summe aus echtem und gefälschtem Anteil verwendet und die wir adaptive gewichtete Verlustfunktionen oder aw-Verlustfunktionen nennen. Unter Verwendung der Gradienten der echten und gefälschten Anteile der Verlustfunktion können wir gewichtete Faktoren adaptiv wählen, um den Diskriminator in eine Richtung zu trainieren, die die Stabilität des GANs fördert. Unser Ansatz ist potenziell auf jedes Diskriminator-Modell anwendbar, dessen Verlust als Summe aus echtem und gefälschtem Anteil formuliert ist. Experimente bestätigen die Wirksamkeit unserer Verlustfunktionen bei einer bedingungslosen Bildgenerierungsaufgabe und zeigen eine signifikante Verbesserung gegenüber der Basislinie auf den Datensätzen CIFAR-10, STL-10 und CIFAR-100 hinsichtlich der Inception-Score- und FID-Metriken.