BIGRoC: Bildgenerierung durch einen robusteren Klassifikator verbessern

Das Interesse der Machine-Learning-Community an der Bildsynthese ist in den letzten Jahren erheblich gestiegen, was auf die Einführung einer Vielzahl tiefer generativer Modelle und entsprechender Trainingsmethoden zurückzuführen ist. In dieser Arbeit stellen wir eine allgemeine, modellunabhängige Methode zur Verbesserung der Bildqualität und der Verteilungsfidelität generierter Bilder vor, die von beliebigen generativen Modellen erzeugt wurden. Unser Ansatz, BIGRoC (Boosting Image Generation via a Robust Classifier), basiert auf einem Nachbearbeitungsverfahren, das durch eine gegebene robuste Klassifikatorführung gesteuert wird und keine zusätzliche Trainingsphase des generativen Modells erfordert. Gegeben ein synthetisches Bild, schlagen wir vor, dieses durch Projektionsgradientenschritte über den robusten Klassifikator zu aktualisieren, um dessen Erkennung zu verfeinern. Wir demonstrieren die Wirksamkeit dieses Nachbearbeitungsalgorithmus an verschiedenen Bildsynthesemethoden und zeigen eine signifikante quantitative und qualitative Verbesserung sowohl auf CIFAR-10 als auch auf ImageNet. Überraschenderweise übertrifft BIGRoC, obwohl es das erste modellunabhängige Verfahren unter den Nachbearbeitungsansätzen ist und deutlich weniger Informationen erfordert, die Leistung konkurrierender Methoden. Insbesondere verbessert BIGRoC das bestperformende Diffusionsmodell für ImageNet bei einer Auflösung von 128×128 um 14,81 % und erreicht einen FID-Wert von 2,53; bei 256×256 steigert es die Leistung um 7,87 % und erreicht einen FID-Wert von 3,63. Darüber hinaus führen wir eine Meinungsumfrage durch, aus der hervorgeht, dass Menschen die Ausgaben unseres Verfahrens deutlich bevorzugen.