Polaritäts-Sampling: Qualitäts- und Vielfaltskontrolle prätrainierter generativer Netzwerke über singuläre Werte

Wir präsentieren Polarity Sampling, eine theoretisch fundierte, plug-and-play-Methode zur Steuerung der Generationsqualität und -vielfalt von vortrainierten tiefen generativen Netzwerken (DGNs). Ausgehend von der Tatsache, dass DGNs entweder exakt oder durch stetige stückweise affine Splines approximiert werden können, leiten wir die analytische Verteilung des Ausgaberaums des DGNs als Funktion des Produkts der singulären Werte der Jacobimatrix des DGNs, potenziert mit einem Exponenten $ρ$, ab. Wir bezeichnen $ρ$ als den Polaritätsparameter und beweisen, dass dieser Parameter die Stichprobenziehung des DGNs auf die Modi ($ρ < 0$) oder Anti-Modi ($ρ > 0$) der Ausgabeverteilung fokussiert. Wir zeigen, dass nichttriviale Polaritätswerte eine bessere Präzisions-Recall-(Qualität-Vielfalt)-Pareto-Grenze erzielen als herkömmliche Methoden wie Truncation bei mehreren state-of-the-art DGNs. Zudem liefern wir quantitative und qualitative Ergebnisse zur Verbesserung der Gesamtgenerationsqualität (z. B. gemessen an der Frechet-Inception-Distance) für mehrere führende DGNs, darunter StyleGAN3, BigGAN-deep und NVAE, in verschiedenen bedingten und unbedingten Bildgenerierungsaufgaben. Insbesondere stellt Polarity Sampling eine neue state-of-the-art-Leistung für StyleGAN2 auf dem FFHQ-Datensatz mit einer FID von 2,57, für StyleGAN2 auf dem LSUN Car-Datensatz mit einer FID von 2,27 und für StyleGAN3 auf dem AFHQv2-Datensatz mit einer FID von 3,95 dar. Demo: bit.ly/polarity-samp