Adaptation de l'embedding de patch sensible à la classe pour la classification d'images à faible exemplaire

« Une image vaut mille mots », bien au-delà d’une simple classification. Toutefois, de nombreuses régions d’une image peuvent avoir des significations totalement étrangères à la catégorie assignée si elles sont analysées indépendamment. Ce phénomène peut considérablement réduire l’efficacité d’une large famille d’algorithmes d’apprentissage peu supervisé (few-shot learning), qui disposent de données limitées et dépendent fortement de la comparaison entre des patches d’image. Pour résoudre ce problème, nous proposons une méthode appelée Adaptation des Embeddings de Patch Conscients de la Classe (CPEA) afin d’apprendre des « embeddings conscients de la classe » pour les patches d’image. L’idée centrale de CPEA consiste à intégrer les embeddings de patch avec des embeddings conscients de la classe, afin de rendre ces derniers pertinents par rapport à la classe. En outre, nous définissons une matrice de scores dense entre les embeddings de patch pertinents par rapport à la classe, sur plusieurs images, permettant ainsi de quantifier le degré de similarité entre paires d’images. Les résultats de visualisation montrent que CPEA regroupe les embeddings de patch par classe, les rendant ainsi plus pertinents. Des expérimentations étendues sur quatre jeux de données standard — miniImageNet, tieredImageNet, CIFAR-FS et FC-100 — démontrent que notre méthode CPEA surpasse significativement les approches de pointe existantes. Le code source est disponible à l’adresse suivante : https://github.com/FushengHao/CPEA.