Clustering par k-moyennes intégré profond

Récemment, les méthodes de regroupement profond ont connu un essor croissant grâce à la forte capacité de représentation des réseaux de neurones profonds (DNN), tels que les autoencodeurs. L'idée centrale repose sur l'interaction mutuelle entre l'apprentissage de représentations et le regroupement : de bonnes représentations permettent un bon regroupement, tandis qu'un bon regroupement fournit des signaux de supervision efficaces pour l'apprentissage des représentations. Deux questions fondamentales se posent : 1) Comment optimiser simultanément l'apprentissage de représentations et le regroupement ? 2) Le terme de perte de reconstruction de l'autoencodeur doit-il toujours être pris en compte ? Dans cet article, nous proposons DEKM (Deep Embedded K-Means) pour répondre à ces deux questions. Étant donné que l'espace d'embedding généré par l'autoencodeur peut ne pas présenter de structures de regroupement évidentes, nous proposons de transformer cet espace en un nouvel espace où les informations structurelles de regroupement deviennent explicites. Cette transformation est réalisée à l’aide d’une matrice de transformation orthogonale, dont les vecteurs propres correspondent à la matrice de dispersion intra-classe de l'algorithme K-means. Les valeurs propres indiquent l'importance relative des contributions de ces vecteurs propres à l'information structurelle de regroupement dans le nouvel espace. Notre objectif est d’optimiser cette information structurelle. À cette fin, nous éliminons le décodeur et proposons une méthode gloutonne pour optimiser la représentation. L’apprentissage de représentations et le regroupement sont alternativement optimisés par DEKM. Les résultats expérimentaux sur des jeux de données du monde réel démontrent que DEKM atteint des performances de pointe.