Faster AutoAugment : Apprentissage de stratégies d'augmentation à l'aide de la rétropropagation

Les méthodes d’augmentation de données constituent des heuristiques indispensables pour améliorer les performances des réseaux neuronaux profonds, en particulier dans les tâches de reconnaissance d’images. Récemment, plusieurs études ont démontré que les stratégies d’augmentation découvertes par des algorithmes de recherche surpassent celles conçues manuellement. Ces approches exploitent des algorithmes de recherche à boîte noire appliqués aux transformations d’images dotées de paramètres continus ou discrets, et nécessitent un temps considérable pour identifier des stratégies optimales. Dans cet article, nous proposons une nouvelle pipeline de recherche de politique différentiable pour l’augmentation de données, qui est nettement plus rapide que les méthodes antérieures. Nous introduisons des gradients approximatifs pour plusieurs opérations de transformation à paramètres discrets, ainsi qu’un mécanisme différentiable pour la sélection des opérations. En tant qu’objectif d’entraînement, nous minimisons la distance entre les distributions des données augmentées et celles des données d’origine, une quantité qui peut être différenciée. Nous montrons que notre méthode, appelée Faster AutoAugment, permet une recherche significativement plus rapide par rapport aux travaux antérieurs, sans compromettre la performance.