MiCE : Mélange d'Experts Contrastifs pour le Regroupement Non Supervisé d'Images

Nous présentons Mixture of Contrastive Experts (MiCE), un cadre probabiliste unifié pour le regroupement qui exploite simultanément les représentations discriminatives apprises par l’apprentissage contrastif et les structures sémantiques capturées par un modèle de mélange latent. Inspiré par le modèle de « mixture of experts », MiCE utilise une fonction d’ouverture (gating function) pour partitionner un ensemble de données non étiquetées en sous-ensembles selon les sémantiques latentes, tandis que plusieurs experts sont chargés de distinguer les différents sous-ensembles d’instances attribués à chacun, selon une approche d’apprentissage contrastif. Pour résoudre les problèmes d’inférence et d’apprentissage non triviaux engendrés par les variables latentes, nous avons développé une variante évolutive de l’algorithme d’Expectation-Maximization (EM) pour MiCE, et fourni une preuve de convergence. Expérimentalement, nous évaluons la performance de regroupement de MiCE sur quatre jeux de données d’images naturelles largement utilisés. MiCE obtient des résultats significativement supérieurs à ceux de diverses méthodes antérieures ainsi qu’à une base contrastive robuste.