Réviser la classification d'images à queue longue : état de l'art et benchmarks avec de nouveaux métriques d'évaluation

Récemment, la classification d’images à queue longue a attiré une grande attention de la recherche, étant donné que la distribution des données est souvent déséquilibrée dans de nombreuses situations du monde réel. De nombreuses méthodes algorithmiques ont été proposées pour traiter le problème d’imbalanced data en biaisant le processus d’entraînement vers les classes moins fréquentes. Toutefois, ces approches évaluent généralement leurs performances sur des ensembles de test équilibrés ou sur plusieurs ensembles de test indépendants présentant des distributions distinctes par rapport à celles des données d’entraînement. Étant donné que les données de test peuvent présenter des distributions arbitraires, les stratégies d’évaluation existantes sont incapables de refléter de manière objective les performances réelles de classification. Nous proposons donc de nouveaux benchmarks d’évaluation fondés sur une série d’ensembles de test dont la distribution évolue progressivement. Un ensemble de métriques est conçu pour mesurer l’exactitude, la robustesse et les limites des algorithmes dans le cadre de l’apprentissage avec des distributions à queue longue. À partir de ces benchmarks, nous réévaluons les performances des méthodes existantes sur les jeux de données CIFAR10 et CIFAR100, ce qui s’avère particulièrement utile pour guider le choix des techniques de rééquilibrage des données. Nous revisitons également les méthodes existantes et les classons en quatre catégories principales selon le stade du pipeline d’entraînement sur lequel elles portent : équilibrage des données, équilibrage des caractéristiques, équilibrage de la fonction de perte et équilibrage des prédictions.