Regroupement profond avec propagation de mesure

Les modèles profonds ont amélioré l'état de l'art pour l'apprentissage supervisé et non supervisé. Par exemple, le clustering profond intégré (DEC) a considérablement amélioré les performances du clustering non supervisé en utilisant des autoencodeurs empilés pour l'apprentissage de représentation. Cependant, une faiblesse des modèles profonds est que la structure de voisinage locale dans l'espace d'origine n'est pas nécessairement préservée dans l'espace latent. Pour préserver la géométrie locale, diverses méthodes ont été proposées dans la littérature sur l'apprentissage supervisé et semi-supervisé (par exemple, le clustering spectral et la propagation de labels) en utilisant une régularisation par laplacien de graphe. Dans cet article, nous combinons la force de l'apprentissage de représentation profonde avec la propagation de mesure (MP), une méthode de régularisation graphique basée sur la divergence KL initialement utilisée dans le scénario semi-supervisé. L'hypothèse principale de MP est que si deux points de données sont proches dans l'espace d'origine, ils sont susceptibles d'appartenir à la même classe, mesurée par la divergence KL de la distribution d'appartenance à une classe. En adoptant cette hypothèse dans le contexte d'apprentissage non supervisé, nous proposons notre modèle Deep Embedded Clustering Aided by Measure Propagation (DECAMP). Nous évaluons DECAMP sur des tâches de clustering de textes courts. Sur trois jeux de données publics, DECAMP se distingue favorablement par rapport aux autres méthodes d'avant-garde, y compris celles qui utilisent des données supplémentaires pour générer des plongements lexicaux utilisés dans le processus de clustering. Par exemple, sur le jeu de données Stackoverflow, DECAMP a atteint une précision de clustering de 79 %, soit environ 5 % supérieure à toutes les méthodes existantes. Ces résultats empiriques suggèrent que DECAMP est une méthode très efficace pour l'apprentissage non supervisé.