SnapMix : Mixage proportionnel sémantiquement adapté pour l'augmentation de données à haute granularité

L’augmentation par mélange de données s’est avérée efficace dans l’entraînement des modèles profonds. Les méthodes récentes mélangent principalement les étiquettes en se basant sur la proportion de pixels d’image. Toutefois, comme l’information discriminative principale d’une image fine-grained réside généralement dans des régions subtiles, les approches de cette catégorie sont sujettes à un bruit d’étiquette important dans la reconnaissance fine-grained. Dans ce papier, nous proposons une nouvelle méthode, nommée Semantically Proportional Mixing (SnapMix), qui exploite la carte d’activation de classe (CAM) afin de réduire le bruit d’étiquette lors de l’augmentation des données fine-grained. SnapMix détermine l’étiquette cible d’une image mixée en estimant sa composition sémantique intrinsèque, permettant des opérations de mélange asymétriques tout en garantissant une correspondance sémantique entre les images synthétiques et leurs étiquettes cibles. Les expérimentations montrent que notre méthode surpasse de manière cohérente les approches existantes basées sur le mélange sur divers jeux de données et pour différentes profondeurs de réseau. En outre, en intégrant des caractéristiques de niveau intermédiaire, SnapMix atteint des performances de haut niveau, démontrant ainsi son potentiel à devenir une base solide pour la reconnaissance fine-grained. Notre code est disponible à l’adresse suivante : https://github.com/Shaoli-Huang/SnapMix.git.