Regroupement profond : Sur le lien entre les modèles discriminants et K-means

Dans le contexte des récentes études sur le regroupement profond, les modèles discriminatifs dominent la littérature et rapportent les performances les plus compétitives. Ces modèles apprennent un classifieur neuronal profond discriminatif dans lequel les étiquettes sont latentes. Généralement, ils utilisent des probabilités a posteriori de régression logistique multinomiale et une régularisation des paramètres, ce qui est très courant en apprentissage supervisé. Il est généralement reconnu que les fonctions objectif discriminatives (par exemple, celles basées sur l'information mutuelle ou la divergence KL) sont plus flexibles que les approches génératives (par exemple, K-means) dans le sens où elles font moins d'hypothèses sur les distributions de données et, typiquement, produisent de bien meilleurs résultats en apprentissage profond non supervisé. À première vue, plusieurs modèles discriminatifs récents peuvent sembler sans rapport avec K-means. Cette étude montre que ces modèles sont en fait équivalents à K-means sous des conditions légères et avec des modèles a posteriori courants et une régularisation des paramètres. Nous démontrons que, pour les probabilités a posteriori de régression logistique couramment utilisées, maximiser l'information mutuelle régularisée $L_2$ par une méthode approximative de directions alternées (ADM) est équivalent à une perte K-means douce et régularisée. Notre analyse théorique non seulement relie directement plusieurs modèles discriminatifs récents de pointe à K-means, mais conduit également à un nouvel algorithme de K-means profond doux et régularisé, qui offre des performances compétitives sur plusieurs benchmarks de regroupement d'images.