HyperAIHyperAI

Command Palette

Search for a command to run...

DADA: Differentiable Automatic Data Augmentation

Yonggang Li Guosheng Hu Yongtao Wang Timothy Hospedales Neil M. Robertson Yongxin Yang

Zusammenfassung

Datenaugmentierung (DA) zielt darauf ab, die Variabilität der Daten zu erhöhen und damit tiefe Netzwerke mit besserer Generalisierungsfähigkeit zu trainieren. Das wegweisende AutoAugment automatisierte die Suche nach optimalen DA-Politiken mittels Verstärkungslernen. Allerdings ist AutoAugment äußerst rechenintensiv und beschränkt dadurch seine breite Anwendbarkeit. Folgearbeiten wie Population Based Augmentation (PBA) und Fast AutoAugment verbesserten die Effizienz, doch bleibt ihre Optimierungsgeschwindigkeit weiterhin eine Engstelle. In diesem Paper stellen wir Differentiable Automatic Data Augmentation (DADA) vor, das die Kosten erheblich reduziert. DADA transformiert die diskrete Auswahl von DA-Politiken in ein differenzierbares Optimierungsproblem mittels Gumbel-Softmax. Zudem führen wir einen unverzerrten Gradientenschätzer, RELAX, ein, der eine effiziente und effektive One-Pass-Optimierungsstrategie zur Lernung einer effizienten und genauen DA-Politik ermöglicht. Wir führen umfangreiche Experimente auf den Datensätzen CIFAR-10, CIFAR-100, SVHN und ImageNet durch. Zudem demonstrieren wir den Nutzen von Auto DA bei der Vortrainierung für nachgeschaltete Detektionsaufgaben. Die Ergebnisse zeigen, dass DADA mindestens eine Größenordnung schneller ist als der derzeitige Stand der Technik, während gleichzeitig eine sehr vergleichbare Genauigkeit erreicht wird. Der Quellcode ist unter https://github.com/VDIGPKU/DADA verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp