SAFA : Augmentation de caractéristiques adaptative aux échantillons pour la classification d'images à distribution longue

Les jeux de données déséquilibrés suivant une distribution en queue longue sont courants dans la pratique, posant de grands défis aux réseaux profonds quant à la gestion des prédictions biaisées entre les classes tête (majoritaires, fréquentes) et les classes queue (minoritaires, rares). L’espace des caractéristiques des classes queue appris par les réseaux profonds est généralement sous-représenté, entraînant une performance hétérogène entre les différentes classes. Les méthodes existantes tentent d’augmenter les caractéristiques des classes queue afin de compenser leur faible représentation dans l’espace des caractéristiques, mais ces approches échouent à généraliser efficacement lors de la phase de test. Pour atténuer ce problème, nous proposons une nouvelle méthode d’augmentation adaptative des caractéristiques par échantillon, appelée SAFA (Sample-Adaptive Feature Augmentation), qui vise à améliorer la performance du classificateur en enrichissant les caractéristiques des classes queue. SAFA vise à extraire des directions sémantiques diverses et transférables à partir des classes tête, puis à translater de manière adaptative les caractéristiques des classes queue selon ces directions extraites afin d’obtenir une augmentation efficace. SAFA exploite un schéma d’entraînement itératif (recyclage) garantissant que les caractéristiques augmentées sont spécifiques à chaque échantillon. Une perte contrastive assure que les directions sémantiques transférables sont indépendantes de la classe, tandis qu’une perte de recherche de modes est utilisée pour générer des caractéristiques diversifiées des classes queue et élargir leur espace de caractéristiques. La méthode proposée SAFA, conçue comme un module plug-in, est facile à intégrer avec diverses approches durant l’entraînement, sans surcharge computationnelle au moment du test. Grâce à SAFA, nous obtenons des résultats exceptionnels sur les benchmarks CIFAR-LT-10, CIFAR-LT-100, Places-LT, ImageNet-LT et iNaturalist2018.