Faster AutoAugment: Lernen von Augmentierungsstrategien mittels Backpropagation

Datenverstärkungsmethoden sind unverzichtbare Heuristiken, um die Leistung von tiefen neuronalen Netzen, insbesondere bei Aufgaben der Bilderkennung, zu steigern. In jüngster Zeit haben mehrere Studien gezeigt, dass durch Suchalgorithmen gefundene Augmentierungsstrategien handgefertigte Strategien übertrifft. Solche Ansätze setzen schwarzkastenartige Suchalgorithmen auf Bildtransformationen mit kontinuierlichen oder diskreten Parametern ein und erfordern eine lange Laufzeit, um effektivere Strategien zu ermitteln. In diesem Paper stellen wir einen differenzierbaren Policy-Search-Pipeline für Datenverstärkung vor, der deutlich schneller ist als bisherige Methoden. Wir führen approximierte Gradienten für mehrere Transformationsoperationen mit diskreten Parametern sowie eine differenzierbare Mechanik zur Auswahl von Operationen ein. Als Optimierungsziel verwenden wir die Minimierung des Abstands zwischen den Verteilungen der augmentierten Daten und der ursprünglichen Daten, was differenzierbar ist. Wir zeigen, dass unsere Methode, Faster AutoAugment, eine signifikant schnellere Suche im Vergleich zu vorhergehenden Arbeiten ermöglicht, ohne dabei an Leistung einzubüßen.