DADA: Differentiable Automatic Data Augmentation

Datenaugmentierung (DA) zielt darauf ab, die Variabilität der Daten zu erhöhen und damit tiefe Netzwerke mit besserer Generalisierungsfähigkeit zu trainieren. Das wegweisende AutoAugment automatisierte die Suche nach optimalen DA-Politiken mittels Verstärkungslernen. Allerdings ist AutoAugment äußerst rechenintensiv und beschränkt dadurch seine breite Anwendbarkeit. Folgearbeiten wie Population Based Augmentation (PBA) und Fast AutoAugment verbesserten die Effizienz, doch bleibt ihre Optimierungsgeschwindigkeit weiterhin eine Engstelle. In diesem Paper stellen wir Differentiable Automatic Data Augmentation (DADA) vor, das die Kosten erheblich reduziert. DADA transformiert die diskrete Auswahl von DA-Politiken in ein differenzierbares Optimierungsproblem mittels Gumbel-Softmax. Zudem führen wir einen unverzerrten Gradientenschätzer, RELAX, ein, der eine effiziente und effektive One-Pass-Optimierungsstrategie zur Lernung einer effizienten und genauen DA-Politik ermöglicht. Wir führen umfangreiche Experimente auf den Datensätzen CIFAR-10, CIFAR-100, SVHN und ImageNet durch. Zudem demonstrieren wir den Nutzen von Auto DA bei der Vortrainierung für nachgeschaltete Detektionsaufgaben. Die Ergebnisse zeigen, dass DADA mindestens eine Größenordnung schneller ist als der derzeitige Stand der Technik, während gleichzeitig eine sehr vergleichbare Genauigkeit erreicht wird. Der Quellcode ist unter https://github.com/VDIGPKU/DADA verfügbar.