Differentiable Augmentation für dateneffizientes GAN-Training

Die Leistung von generativen adversarialen Netzen (GANs) verschlechtert sich erheblich bei begrenzten Trainingsdaten. Dies liegt hauptsächlich daran, dass der Diskriminator das genaue Trainingsset memoriert. Um diesem Problem entgegenzuwirken, schlagen wir Differentiable Augmentation (DiffAugment) vor, eine einfache Methode, die die Dateneffizienz von GANs verbessert, indem verschiedene Arten differenzierbarer Augmentierungen sowohl auf echte als auch auf gefälschte Proben angewendet werden. Frühere Ansätze, die die Trainingsdaten direkt augmentierten, veränderten die Verteilung der echten Bilder und brachten nur geringe Vorteile; DiffAugment ermöglicht hingegen die Anwendung differenzierbarer Augmentierungen auf die generierten Proben, stabilisiert effektiv das Training und führt zu besserer Konvergenz. Experimente zeigen konsistente Verbesserungen unserer Methode über eine Vielzahl von GAN-Architekturen und Verlustfunktionen sowohl bei unbedingter als auch bei klassenbedingter Generierung. Mit DiffAugment erreichen wir eine state-of-the-art FID von 6,80 bei einer IS von 100,8 auf ImageNet 128x128 sowie eine Reduktion der FID um das 2- bis 4-Fache bei nur 1.000 Bildern auf FFHQ und LSUN. Darüber hinaus können wir mit lediglich 20 % der Trainingsdaten die Spitzenleistung auf CIFAR-10 und CIFAR-100 erreichen. Schließlich ist unsere Methode in der Lage, hochqualitative Bilder mit nur 100 Bildern ohne Vortraining zu generieren, wobei sie bestehenden Transfer-Learning-Algorithmen ebenbürtig ist. Der Quellcode ist unter https://github.com/mit-han-lab/data-efficient-gans verfügbar.