DiffKendall : Une nouvelle approche pour l'apprentissage peu supervisé basée sur la corrélation de rang différentiable de Kendall

L’apprentissage à peu de exemples vise à adapter des modèles entraînés sur un ensemble de données de base à de nouvelles tâches, où les catégories n’ont jamais été observées auparavant par le modèle. Cela entraîne souvent une répartition relativement uniforme des valeurs de caractéristiques à travers les canaux pour les nouvelles catégories, ce qui pose des difficultés pour déterminer l’importance des canaux dans le cadre de ces tâches novatrices. Les méthodes classiques d’apprentissage à peu de exemples utilisent des métriques de similarité géométrique, telles que la similarité cosinus et la distance euclidienne négative, afin d’évaluer la similarité sémantique entre deux caractéristiques. Toutefois, des caractéristiques présentant une forte similarité géométrique peuvent avoir des significations sémantiques distinctes, particulièrement dans le contexte de l’apprentissage à peu de exemples. Dans cet article, nous démontrons que le classement d’importance des canaux de caractéristiques constitue un indicateur plus fiable pour l’apprentissage à peu de exemples que les métriques de similarité géométrique. Nous observons qu’en remplaçant la métrique de similarité géométrique par la corrélation de rang de Kendall uniquement durant l’inférence, il est possible d’améliorer significativement les performances de l’apprentissage à peu de exemples sur une large gamme de méthodes et de jeux de données provenant de domaines variés. En outre, nous proposons une perte différentiable soigneusement conçue pour l’entraînement méta, afin de surmonter le problème d’absence de différentiabilité de la corrélation de rang de Kendall. En remplaçant la similarité géométrique par une corrélation de Kendall différentiable, notre méthode peut être intégrée à de nombreuses approches existantes d’apprentissage à peu de exemples, et est prête à être combinée avec les futures méthodes de pointe qui reposent sur des métriques de similarité géométrique. Des expériences étendues valident l’efficacité de l’approche fondée sur la corrélation de rang, mettant en évidence une amélioration notable de la performance dans le cadre de l’apprentissage à peu de exemples.