Entropiegesteuertes Sampling und Trainingsverfahren für bedingte Diffusionsgenerierung

Das Denoising Diffusion Probabilistic Model (DDPM) ermöglicht eine flexible bedingte Bildgenerierung von vorheriger Rauschphase hin zu echten Daten, indem ein unabhängiger, rauschbewusster Klassifikator zur Bereitstellung von bedingten Gradientenleitungen in jedem Zeitschritt des Entrauschungsvorgangs eingesetzt wird. Aufgrund der Fähigkeit des Klassifikators, bereits unvollständige Bilder allein anhand ihrer hochwertigen Struktur zu unterscheiden, neigt der Gradient – als Form der Klasseninformation – dazu, frühzeitig zu verschwinden, was zu einem Zusammenbruch des bedingten Generierungsprozesses hin zum unbedingten Prozess führt. Um dieses Problem anzugehen, schlagen wir zwei einfache, aber wirksame Ansätze aus zwei Perspektiven vor. Für den Sampling-Prozess führen wir die Entropie der vorhergesagten Verteilung als Maß für das Ausmaß des Verschwindens der Leitungsrichtung ein und schlagen eine entropiebewusste Skalierungsmethode vor, um die bedingte semantische Leitung adaptiv wiederherzustellen. Für den Trainingsstadium schlagen wir entropiebewusste Optimierungsziele vor, um die Überzuversichtlichkeit der Vorhersagen für rauschbehaftete Daten zu verringern. Auf ImageNet1000 bei 256×256 erzielt das vortrainierte bedingte und unbedingte DDPM-Modell mit unserem vorgeschlagenen Sampling-Schema und dem trainierten Klassifikator jeweils eine Verbesserung des FID um 10,89 % (von 4,59 auf 4,09) und 43,5 % (von 12 auf 6,78). Der Quellcode ist unter https://github.com/ZGCTroy/ED-DPM verfügbar.