Ultra-Scalable Spectral Clustering and Ensemble Clustering Clustering spectral ultra-évolué et clustering par ensemble

Ce document se concentre sur la scalabilité et la robustesse du clustering spectral pour des ensembles de données d'échelle extrêmement large avec des ressources limitées. Deux nouveaux algorithmes sont proposés, à savoir le clustering spectral ultra-scalable (U-SPEC) et le clustering par ensemble ultra-scalable (U-SENC). Dans U-SPEC, une stratégie hybride de sélection de représentants et une méthode d'approximation rapide pour les K-représentants les plus proches sont proposées pour la construction d'une sous-matrice d'affinité creuse. En interprétant cette sous-matrice creuse comme un graphe biparti, le cut de transfert est ensuite utilisé pour partitionner efficacement le graphe et obtenir le résultat de clustering. Dans U-SENC, plusieurs clusterers U-SPEC sont intégrés dans un cadre de clustering par ensemble afin d'améliorer la robustesse de U-SPEC tout en maintenant une haute efficacité. Sur la base de la génération d'ensembles via plusieurs U-SEPC, un nouveau graphe biparti est construit entre les objets et les clusters de base, puis partitionné efficacement pour obtenir le résultat de clustering par consensus. Il convient de noter que tant U-SPEC que U-SENC présentent une complexité temporelle et spatiale quasi-linéaire, et sont capables de partitionner robustement et efficacement des ensembles de données non linéairement séparables à l'échelle du million d'objets sur un PC doté de 64 Go de mémoire. Des expériences menées sur divers ensembles de données à grande échelle ont démontré la scalabilité et la robustesse de nos algorithmes. Le code MATLAB et les données expérimentales sont disponibles à l'adresse suivante : https://www.researchgate.net/publication/330760669.