Apprentissage par contraste pour un clustering robuste profond

Récemment, de nombreuses méthodes d’apprentissage profond non supervisées ont été proposées afin d’apprendre le regroupement à partir de données non étiquetées. En introduisant une augmentation de données, la plupart des méthodes les plus récentes abordent le regroupement profond sous l’angle selon lequel une image d’origine et sa transformation doivent partager une affectation de regroupement sémantique similaire. Toutefois, les caractéristiques de représentation peuvent être très différentes même lorsqu’elles sont affectées au même cluster, car la fonction softmax n’est sensible qu’au maximum de valeurs. Cela peut entraîner une forte diversité intra-classe dans l’espace des caractéristiques de représentation, conduisant à des optima locaux instables et nuisant ainsi à la performance du regroupement. Pour pallier cet inconvénient, nous proposons Deep Robust Clustering (DRC). Contrairement aux méthodes existantes, DRC considère le regroupement profond sous deux angles : l’affectation sémantique de regroupement et la caractéristique de représentation, permettant ainsi d’augmenter simultanément la diversité inter-classe et de réduire la diversité intra-classe. En outre, nous avons établi un cadre général permettant de transformer toute méthode maximisant l’information mutuelle en une minimisation de la perte contrastive, en explorant la relation interne entre l’information mutuelle et l’apprentissage contrastif. Nous avons appliqué avec succès ce cadre à DRC afin d’apprendre des caractéristiques invariantes et des regroupements robustes. Des expériences étendues sur six benchmarks largement utilisés pour le regroupement profond démontrent la supériorité de DRC en termes de stabilité et de précision. Par exemple, DRC atteint une précision moyenne de 71,6 % sur CIFAR-10, soit une amélioration de 7,1 % par rapport aux résultats les plus avancés de l’état de l’art.