Apprentissage de jeux de données déséquilibrés avec une perte de marge sensible à la distribution des étiquettes

Les algorithmes d'apprentissage profond peuvent présenter de mauvaises performances lorsque l'ensemble de données d'entraînement souffre d'un déséquilibre important des classes, mais que le critère de test nécessite une bonne généralisation sur les classes moins fréquentes. Nous concevons deux nouvelles méthodes pour améliorer les performances dans de tels scénarios. Premièrement, nous proposons une perte (loss) de marge sensible à la distribution des labels (LDAM), motivée par la minimisation d'une borne de généralisation basée sur la marge. Cette perte remplace l'objectif standard de l'entropie croisée pendant l'entraînement et peut être utilisée en conjonction avec des stratégies précédentes pour l'entraînement avec un déséquilibre des classes, telles que le rééquilibrage pondérationnel ou le rééchantillonnage. Deuxièmement, nous proposons un calendrier d'entraînement simple mais efficace qui reporte le rééquilibrage pondérationnel après la première phase, permettant au modèle d'apprendre une représentation initiale tout en évitant certaines des complications liées au rééquilibrage pondérationnel ou au rééchantillonnage. Nous testons nos méthodes sur plusieurs tâches visuelles de référence, y compris le jeu de données imbalancé du monde réel iNaturalist 2018. Nos expériences montrent que chacune de ces méthodes seule peut déjà surpasser les techniques existantes et que leur combinaison permet d'obtenir encore meilleures améliorations des performances.