Difficulty-Net : Apprendre à Prédire la Difficulté pour la Reconnaissance à Longue Queue

Les jeux de données à queue longue, dans lesquels les classes dominantes (head classes) comptent beaucoup plus d’exemples d’apprentissage que les classes rares (tail classes), entraînent une biaisage des modèles de reconnaissance vers les classes dominantes. L’utilisation d’une perte pondérée constitue l’une des approches les plus courantes pour atténuer ce problème. Une étude récente a suggéré que la difficulté des classes pourrait constituer un indicateur plus pertinent que la fréquence classique pour déterminer la distribution des poids. Toutefois, la formulation heuristique utilisée dans cette étude pour quantifier la difficulté s’avère empiriquement dépendante des caractéristiques spécifiques des jeux de données. À cet égard, nous proposons Difficulty-Net, un modèle qui apprend à prédire la difficulté des classes au sein d’un cadre d’apprentissage métacognitif, en se basant sur la performance du modèle. Pour permettre à Difficulty-Net d’évaluer de manière raisonnable la difficulté d’une classe dans le contexte des autres classes, nous introduisons deux concepts nouveaux et essentiels : la difficulté relative et la fonction de perte pilote (driver loss). La première permet au modèle de tenir compte des autres classes lors du calcul de la difficulté d’une classe donnée, tandis que la seconde est indispensable pour guider l’apprentissage vers une direction significative. Des expériences étendues menées sur plusieurs jeux de données à queue longue populaires démontrent l’efficacité de la méthode proposée, qui atteint des performances de pointe sur plusieurs jeux de données à queue longue.