AutoMix : Révéler le Pouvoir du Mixup pour des Classificateurs Plus Puissants

L’augmentation par mélange de données s’est avérée efficace pour améliorer la capacité de généralisation des réseaux neuronaux profonds. Alors que les méthodes initiales mélangent les échantillons selon des politiques manuelles (par exemple, interpolation linéaire), les approches récentes exploitent des informations de saliency afin d’associer de manière précise les échantillons mélangés aux étiquettes via une optimisation hors ligne complexe. Toutefois, un compromis apparaît entre la précision des politiques de mélange et la complexité d’optimisation. Pour surmonter ce défi, nous proposons un nouveau cadre automatique de mixup, nommé AutoMix, dans lequel la politique de mixup est paramétrée et orientée directement vers l’objectif final de classification. Plus précisément, AutoMix reformule le problème de classification par mixup en deux sous-tâches (génération d’échantillons mélangés et classification par mixup), chacune étant traitée par un sous-réseau dédié, et résout ces deux sous-tâches dans un cadre d’optimisation bi-niveau. Pour la génération, un générateur de mixup léger et apprenable, appelé Mix Block, est conçu pour produire des échantillons mélangés en modélisant les relations entre patches sous la supervision directe des étiquettes correspondantes. Afin de prévenir la dégradation et l’instabilité liées à l’optimisation bi-niveau, nous introduisons également une pipeline à momentum pour entraîner AutoMix de manière end-to-end. Des expériences étendues sur neuf benchmarks d’images démontrent l’avantage d’AutoMix par rapport aux méthodes de pointe dans divers scénarios de classification et tâches descendantes.