Aufklärung des Gestaltungsraums der Klassifikator-gesteuerten Diffusionsgenerierung

Leitlinien bei der bedingten Diffusionsgenerierung sind von entscheidender Bedeutung für die Qualität der Generierte und die Steuerbarkeit. Bisherige Leitlinienansätze weisen jedoch erhebliche Mängel auf. Auf der einen Seite erfordern gängige Methoden wie Klassifikator-Leitlinien und klassifikatorfreie Leitlinien eine zusätzliche Trainingsphase mit gelabelten Daten, was zeitaufwendig ist und sich nicht leicht an neue Bedingungen anpassen lässt. Auf der anderen Seite sind trainingsfreie Ansätze wie Universal Guidance zwar flexibler, haben jedoch bisher noch keine vergleichbare Leistung erzielt. In dieser Arbeit zeigen wir durch eine umfassende Untersuchung des Gestaltungsraums, dass es möglich ist, signifikante Leistungsverbesserungen gegenüber bestehenden Leitlinienansätzen zu erzielen, indem man vorgefertigte Klassifikatoren auf trainingsfreie Weise nutzt und dabei die Vorteile beider Welten vereint. Unter Verwendung von Kalibrierung als allgemeine Leitlinie entwickeln wir mehrere Vorbedingungstechniken, um vorgefertigte, kommerziell erhältliche Klassifikatoren effektiver für die Steuerung der Diffusionsgenerierung auszunutzen. Umfangreiche Experimente auf ImageNet bestätigen unsere vorgeschlagene Methode, wobei gezeigt wird, dass state-of-the-art Diffusionsmodelle (DDPM, EDM, DiT) durch die Nutzung vorgefertigter Klassifikatoren – mit nahezu keiner zusätzlichen Rechenkosten – um bis zu 20 % verbessert werden können. Angesichts der zunehmenden Verfügbarkeit öffentlich zugänglicher vortrainierter Klassifikatoren weist unser Ansatz großes Potenzial auf und lässt sich problemlos auf Text-zu-Bild-Generierungsaufgaben skalieren. Der Quellcode ist unter https://github.com/AlexMaOLS/EluCD/tree/main verfügbar.