Rompre la Barrière de Réagrégation dans le Clustering Profond Basé sur les Centroides

Ce travail examine un phénomène important dans les algorithmes de clustering profond (DC) basés sur le centroïde : la performance sature rapidement après une période de gains rapides au début. Les praticiens abordent généralement ce problème de saturation précoce par des reclustering périodiques, que nous démontrons être insuffisants pour surmonter les plateaux de performance. Nous appelons ce phénomène la « barrière du reclustering » et montrons empiriquement quand cette barrière se produit, quelles sont ses mécanismes sous-jacents, et comment il est possible de la briser avec notre algorithme BRB (Break the Reclustering Barrier). BRB évite l'engagement prématuré excessif aux clusterings initiaux et permet une adaptation continue aux cibles de clustering réinitialisées tout en restant conceptuellement simple. En appliquant notre algorithme à des algorithmes DC basés sur le centroïde largement utilisés, nous démontrons que (1) BRB améliore constamment les performances sur un large éventail de benchmarks de clustering, (2) BRB permet l'entraînement à partir de zéro, et (3) BRB offre des performances compétitives face aux algorithmes DC les plus avancés lorsqu'il est combiné avec une perte contrastive. Nous mettons notre code et nos modèles pré-entraînés à disposition sur https://github.com/Probabilistic-and-Interactive-ML/breaking-the-reclustering-barrier .