Command Palette
Search for a command to run...
Modussuchende Generative Adversarische Netze für vielfältige Bildsynthese
Modussuchende Generative Adversarische Netze für vielfältige Bildsynthese
Qi Mao; Hsin-Ying Lee; Hung-Yu Tseng; Siwei Ma; Ming-Hsuan Yang
Zusammenfassung
Die meisten bedingten Generierungsaufgaben erwarten vielfältige Ausgaben bei einem einzelnen bedingten Kontext. Bedingte generative adversarische Netze (cGANs) konzentrieren sich jedoch oft auf die vorherige bedingte Information und ignorieren die Eingabe-Rauschvektoren, die zur Variabilität der Ausgaben beitragen. Kürzliche Versuche, das Problem des Modus-Zusammenbruchs für cGANs zu lösen, sind in der Regel aufgabenspezifisch und rechnerisch aufwendig. In dieser Arbeit schlagen wir einen einfachen, aber effektiven Regularisierungsterm vor, um das Problem des Modus-Zusammenbruchs für cGANs anzugehen. Die vorgeschlagene Methode maximiert explizit das Verhältnis der Distanz zwischen den generierten Bildern im Bezug zu den entsprechenden latenten Codes, wodurch die Generatoren angeregt werden, während des Trainings mehr seltene Modi zu erkunden. Dieser Modus-Such-Regulierungs-Term kann ohne zusätzlichen Trainingsaufwand oder Änderungen an den ursprünglichen Netzstrukturen auf verschiedene bedingte Generierungsaufgaben angewendet werden. Wir validieren den vorgeschlagenen Algorithmus anhand dreier bedingter Bildsyntheseaufgaben: kategorische Generierung, Bild-zu-Bild-Übersetzung und Text-zu-Bild-Synthese mit verschiedenen Basismodellen. Sowohl qualitative als auch quantitative Ergebnisse zeigen die Effektivität der vorgeschlagenen Regularisierungsmethode zur Verbesserung der Vielfalt ohne Qualitätsverlust.