Verbesserung von GANs durch MMD-Neuronale Architektursuche, PMish-Aktivierungsfunktion und adaptive Rank-Zerlegung

Generative Adversarial Networks (GANs) haben aufgrund ihrer beeindruckenden Fähigkeit, hochwertige und realistische Bilder aus einer vorgegebenen Datensverteilung zu generieren, erhebliche Aufmerksamkeit erfahren. Diese Forschung präsentiert Fortschritte bei GANs durch die Entwicklung einer verbesserten Aktivierungsfunktion, einer neuartigen Trainingsstrategie sowie einer adaptiven Rang-Zerlegungsmethode zur Kompression des Netzwerks. Die vorgeschlagene Aktivierungsfunktion, namens Parametric Mish (PMish), passt automatisch einen trainierbaren Parameter an, um die Glätte und Form der Aktivierungsfunktion zu steuern. Unser Ansatz nutzt ein Neural Architecture Search (NAS), um die optimale Architektur für die Bildgenerierung zu finden, während gleichzeitig die Maximum Mean Discrepancy (MMD)-Replikationsverlustfunktion für das adversarische Training eingesetzt wird. Die vorgeschlagene neuartige Trainingsstrategie verbessert die Leistung durch schrittweise Erhöhung der oberen Schranke des beschränkten MMD-GAN-Replikationsverlusts. Schließlich reduziert die vorgeschlagene adaptive Rang-Zerlegungsmethode (Adaptive Rank Decomposition, ARD) die Komplexität des Netzwerks mit minimaler Auswirkung auf die generative Leistung, wodurch eine effiziente Bereitstellung auf ressourcenbeschränkten Plattformen ermöglicht wird. Die Wirksamkeit dieser Fortschritte wird anhand standardisierter Benchmark-Datensätze wie CIFAR-10, CIFAR-100, STL-10 und CelebA rigoros getestet, wobei signifikante Verbesserungen gegenüber bestehenden Techniken nachgewiesen werden. Der Implementierungscode ist verfügbar unter: https://github.com/PrasannaPulakurthi/MMD-PMish-NAS