DADA : Augmentation Automatique Différentiable des Données

Les techniques d’augmentation de données (DA) visent à augmenter la variabilité des données afin d’entraîner des réseaux profonds avec une meilleure généralisation. Le travail fondateur AutoAugment a automatisé la recherche des politiques de DA optimales à l’aide d’un apprentissage par renforcement. Toutefois, AutoAugment s’avère extrêmement coûteux en termes de ressources computationnelles, ce qui limite sa large applicabilité. Des travaux ultérieurs tels que Population Based Augmentation (PBA) et Fast AutoAugment ont amélioré l’efficacité, mais leur vitesse d’optimisation reste un goulot d’étranglement. Dans cet article, nous proposons Differentiable Automatic Data Augmentation (DADA), une méthode qui réduit de façon significative le coût computationnel. DADA transforme le problème discret de sélection de politique de DA en un problème d’optimisation différentiable grâce à la technique Gumbel-Softmax. Par ailleurs, nous introduisons un estimateur de gradient non biaisé, appelé RELAX, permettant de mettre en œuvre une stratégie d’optimisation efficace et performante en une seule passe pour apprendre une politique de DA à la fois efficace et précise. Nous menons des expériences approfondies sur les jeux de données CIFAR-10, CIFAR-100, SVHN et ImageNet. En outre, nous démontrons la valeur de la DA automatique dans le pré-entraînement pour des problèmes de détection en aval. Les résultats montrent que notre méthode DADA est au moins d’un ordre de grandeur plus rapide que l’état de l’art tout en atteignant une précision très comparable. Le code est disponible à l’adresse suivante : https://github.com/VDIGPKU/DADA.