Exploration des limites du regroupement d'images profondes utilisant des modèles préentraînés

Nous présentons une méthodologie générale permettant de classifier des images sans étiquettes en exploitant des extracteurs de caractéristiques préentraînés. Notre approche repose sur une phase d’entraînement par auto-distillation des têtes de regroupement, fondée sur l’hypothèse selon laquelle les voisins les plus proches dans l’espace de caractéristiques préentraîné sont susceptibles de partager la même étiquette. Nous proposons une nouvelle fonction objectif qui apprend des associations entre les caractéristiques d’images en introduisant une variante de l’information mutuelle ponctuelle combinée à un poids par instance. Nous démontrons que cette fonction objectif permet de réduire efficacement l’impact des paires faussement positives tout en exploitant pleinement la structure présente dans l’espace de caractéristiques préentraîné. En conséquence, nous améliorons la précision du regroupement par rapport à $k$-means sur 17 modèles préentraînés de 6,1 % sur ImageNet et de 12,2 % sur CIFAR100, respectivement. Enfin, en utilisant des transformateurs visuels auto-supervisés, nous atteignons une précision de regroupement de 61,6 % sur ImageNet. Le code est disponible à l’adresse suivante : https://github.com/HHU-MMBS/TEMI-official-BMVC2023.