Deep AutoAugment

Obwohl neuere automatisierte Methoden zur Datenverstärkung (data augmentation) führende Ergebnisse erzielen, beruhen ihre Designräume und die daraus abgeleiteten Strategien weiterhin auf starken menschlichen Vorwissen. In dieser Arbeit stellen wir anstelle der Fixierung einer festgelegten Menge handverlesener Standardverstärkungen zusammen mit den gesuchten Verstärkungen eine vollständig automatisierte Methode zum Suchen von Datenverstärkungen vor, die wir Deep AutoAugment (DeepAA) nennen. DeepAA baut schrittweise eine mehrschichtige Datenverstärkungspipeline von Grund auf auf, indem es Verstärkungsschichten nacheinander hinzufügt, bis Konvergenz erreicht ist. Für jeden Verstärkungsschritt wird die Strategie so optimiert, dass die Kosinusähnlichkeit zwischen den Gradienten des ursprünglichen und des verstärkten Datensatzes entlang der Richtung mit geringer Varianz maximiert wird. Unsere Experimente zeigen, dass selbst ohne Verwendung von Standardverstärkungen eine Verstärkungsstrategie erlernt werden kann, die Leistungen erzielt, die mit denen früherer Arbeiten vergleichbar sind. Umfangreiche Ablationsstudien belegen, dass die regulierte Gradientenübereinstimmung eine effektive Suchmethode für Datenverstärkungsstrategien darstellt. Der Quellcode ist unter folgender URL verfügbar: https://github.com/MSU-MLSys-Lab/DeepAA.