Diffusion-GAN: Training von GANs mit Diffusion

Generative adversariale Netzwerke (GANs) sind schwer stabil zu trainieren, und ein vielversprechender Ansatz, der durch die Einführung von Instanzrauschen in den Eingabedaten des Diskriminators eine Verbesserung verspricht, hat sich in der Praxis bisher als nur wenig wirksam erwiesen. In diesem Paper stellen wir Diffusion-GAN vor, einen neuartigen GAN-Framework, der eine vorwärtsgerichtete Diffusionskette nutzt, um Instanzrauschen mit Gauß-Mischverteilung zu erzeugen. Diffusion-GAN besteht aus drei Komponenten: einem adaptiven Diffusionsprozess, einem zeitstufenabhängigen Diskriminator und einem Generator. Sowohl die beobachteten als auch die generierten Daten werden durch denselben adaptiven Diffusionsprozess verarbeitet. Zu jeder Diffusionszeitstufe existiert ein unterschiedliches Rausch-zu-Daten-Verhältnis, und der zeitstufenabhängige Diskriminator lernt, die diffundierten echten Daten von den diffundierten generierten Daten zu unterscheiden. Der Generator erhält Rückmeldungen vom Diskriminator, indem er durch die vorwärtsgerichtete Diffusionskette zurückpropagiert wird, wobei die Länge der Kette adaptiv angepasst wird, um ein Gleichgewicht zwischen Rausch- und Datenebene zu gewährleisten. Theoretisch zeigen wir, dass die zeitstufenabhängige Strategie des Diskriminators dem Generator konsistente und hilfreiche Anleitung bietet, sodass dieser die wahre Datenverteilung effektiv nachbilden kann. Wir demonstrieren die Vorteile von Diffusion-GAN gegenüber starken GAN-Baselines an verschiedenen Datensätzen und zeigen, dass es realistischere Bilder mit höherer Stabilität und besserer Dateneffizienz als aktuell beste GANs erzeugen kann.