HyperAIHyperAI

Command Palette

Search for a command to run...

Ultra-Scalable Spectral Clustering and Ensemble Clustering Clustering spectral ultra-évolué et clustering par ensemble

Dong Huang, Member, IEEE Chang-Dong Wang, Member, IEEE Jian-Sheng Wu, Member, IEEE Jian-Huang Lai, Senior Member, IEEE Chee-Keong Kwoh, Senior Member, IEEE

Résumé

Ce document se concentre sur la scalabilité et la robustesse du clustering spectral pour des ensembles de données d'échelle extrêmement large avec des ressources limitées. Deux nouveaux algorithmes sont proposés, à savoir le clustering spectral ultra-scalable (U-SPEC) et le clustering par ensemble ultra-scalable (U-SENC). Dans U-SPEC, une stratégie hybride de sélection de représentants et une méthode d'approximation rapide pour les K-représentants les plus proches sont proposées pour la construction d'une sous-matrice d'affinité creuse. En interprétant cette sous-matrice creuse comme un graphe biparti, le cut de transfert est ensuite utilisé pour partitionner efficacement le graphe et obtenir le résultat de clustering. Dans U-SENC, plusieurs clusterers U-SPEC sont intégrés dans un cadre de clustering par ensemble afin d'améliorer la robustesse de U-SPEC tout en maintenant une haute efficacité. Sur la base de la génération d'ensembles via plusieurs U-SEPC, un nouveau graphe biparti est construit entre les objets et les clusters de base, puis partitionné efficacement pour obtenir le résultat de clustering par consensus. Il convient de noter que tant U-SPEC que U-SENC présentent une complexité temporelle et spatiale quasi-linéaire, et sont capables de partitionner robustement et efficacement des ensembles de données non linéairement séparables à l'échelle du million d'objets sur un PC doté de 64 Go de mémoire. Des expériences menées sur divers ensembles de données à grande échelle ont démontré la scalabilité et la robustesse de nos algorithmes. Le code MATLAB et les données expérimentales sont disponibles à l'adresse suivante : https://www.researchgate.net/publication/330760669.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp