Effiziente Subsampling realistischer Bilder aus GANs bedingt durch eine Klasse oder eine stetige Variable

Kürzlich wurde intensiv untersucht, wie die Unterstichung oder Verfeinerung von aus bedingungslosen GANs (unconditional GANs) generierten Bildern die Gesamtqualität verbessern kann. Leider erweisen sich diese Ansätze oft als weniger wirksam oder ineffizient bei der Behandlung bedingter GANs (cGANs) – insbesondere dann, wenn die Bedingung einer Klasse (sogenannte klassenbedingte GANs) oder einer kontinuierlichen Variablen (sogenannte kontinuierliche cGANs oder CcGANs) entspricht. In dieser Arbeit stellen wir ein effektives und effizientes Unterstichungsverfahren vor, genannt conditional density ratio-guided rejection sampling (cDR-RS), um hochwertige Bilder aus cGANs zu generieren. Konkret entwickeln wir zunächst eine neuartige Methode zur Schätzung der bedingten Dichteverhältnisse, die cDRE-F-cSP genannt wird, indem wir die bedingte Softplus-(cSP)-Verlustfunktion sowie eine verbesserte Merkmalsextraktionsmechanik vorschlagen. Anschließend leiten wir eine Fehlerschranke für ein Dichteverhältnismodell her, das mit der cSP-Verlustfunktion trainiert wurde. Schließlich akzeptieren oder verwerfen wir ein gefälschtes Bild basierend auf seiner geschätzten bedingten Dichteverhältnis. Zudem wird ein Filterverfahren entwickelt, das die Label-Konsistenz gefälschter Bilder erhöht, ohne die Vielfalt bei der Generierung aus CcGANs zu verlieren. Wir testen die Wirksamkeit und Effizienz von cDR-RS umfassend an fünf Benchmark-Datensätzen sowohl bei klassenbedingten GANs als auch bei CcGANs. Bei der Bildgenerierung aus klassenbedingten GANs übertrifft cDR-RS moderne state-of-the-art-Methoden signifikant in Bezug auf Wirksamkeit (mit Ausnahme von DRE-F-SP+RS). Obwohl die Wirksamkeit von cDR-RS oft vergleichbar mit der von DRE-F-SP+RS ist, ist cDR-RS erheblich effizienter. Bei der Generierung aus CcGANs zeigt sich die Überlegenheit von cDR-RS noch deutlicher sowohl hinsichtlich Wirksamkeit als auch Effizienz. Insbesondere kann cDR-RS unter Verwendung vernünftiger Rechenressourcen das Label-Score erheblich reduzieren, ohne die Vielfalt der aus CcGANs generierten Bilder zu verringern – während andere Methoden oft eine erhebliche Reduktion der Vielfalt in Kauf nehmen müssen, um lediglich eine geringfügige Verbesserung des Label-Scores zu erreichen.