Amélioration de la reconnaissance à queue longue avec l'augmentation Contrastive CutMix

Les données du monde réel suivent souvent une distribution à queue longue, où quelques classes principales occupent la majorité des données et un grand nombre de classes secondaires ne contiennent que très peu d'échantillons. En pratique, les modèles profonds montrent souvent de mauvaises performances de généralisation sur les classes secondaires en raison de la distribution déséquilibrée. Pour résoudre ce problème, l'augmentation de données est devenue une méthode efficace en synthétisant de nouveaux échantillons pour les classes secondaires. Parmi ces méthodes, CutMix est particulièrement populaire car il mélange explicitement les images des classes secondaires avec celles des autres classes, tout en construisant les étiquettes selon le ratio des zones découpées à partir de deux images. Cependant, les étiquettes basées sur la surface ignorent complètement l'information sémantique inhérente aux échantillons augmentés, ce qui entraîne souvent des signaux d'entraînement trompeurs. Pour remédier à cette situation, nous proposons un CutMix Contrastif (ConCutMix) qui construit des échantillons augmentés avec des étiquettes sémantiquement cohérentes afin d'améliorer les performances de reconnaissance à queue longue. Plus précisément, nous calculons les similarités entre les échantillons dans l'espace sémantique appris par apprentissage contrastif, et utilisons ces similarités pour corriger les étiquettes basées sur la surface. Les expériences montrent que notre ConCutMix améliore considérablement la précision sur les classes secondaires ainsi que la performance globale. Par exemple, en utilisant ResNeXt-50 comme base, nous améliorons la précision globale sur ImageNet-LT de 3,0 % grâce à une amélioration significative de 3,3 % sur les classes secondaires. Nous soulignons que cette amélioration se généralise également bien à d'autres benchmarks et modèles. Notre code source et nos modèles pré-entraînés sont disponibles sur https://github.com/PanHaulin/ConCutMix.