Tiefes robustes Clustering durch kontrastives Lernen

Kürzlich wurden zahlreiche unsupervisierte tiefen Lernmethoden vorgeschlagen, um Clustering mit unbeschrifteten Daten zu erlernen. Durch die Einführung von Datenaugmentierung betrachten die meisten neueren Ansätze das tiefe Clustering aus der Perspektive, dass das ursprüngliche Bild und seine Transformation ähnliche semantische Clustering-Zuweisungen aufweisen sollten. Allerdings können die Repräsentationsmerkmale trotz gleicher Cluster-Zuweisung erheblich voneinander abweichen, da die Softmax-Funktion nur auf den maximalen Wert empfindlich ist. Dies kann zu einer hohen intra-klasstypischen Vielfalt im Repräsentationsmerkmalsraum führen, was wiederum zu instabilen lokalen Optima und somit zu einer Verschlechterung der Clustering-Leistung führen kann. Um diesen Nachteil zu beheben, schlagen wir Deep Robust Clustering (DRC) vor. Im Gegensatz zu bestehenden Methoden betrachtet DRC das tiefe Clustering aus zwei Perspektiven – sowohl aus der Sicht der semantischen Clustering-Zuweisung als auch der Repräsentationsmerkmale –, wodurch gleichzeitig die inter-klasstypische Vielfalt erhöht und die intra-klasstypische Vielfalt verringert werden kann. Zudem haben wir einen allgemeinen Rahmen zusammengefasst, der es ermöglicht, jede Maximierung der gegenseitigen Information in eine Minimierung der kontrastiven Verlustfunktion umzuwandeln, indem die innere Beziehung zwischen gegenseitiger Information und kontrastivem Lernen untersucht wurde. Dieser Rahmen wurde erfolgreich in DRC angewandt, um invarianzfähige Merkmale und robuste Cluster zu lernen. Umfangreiche Experimente an sechs weit verbreiteten Benchmarks für tiefes Clustering belegen die Überlegenheit von DRC hinsichtlich Stabilität und Genauigkeit. Beispielsweise erreicht DRC eine durchschnittliche Genauigkeit von 71,6 % auf CIFAR-10, was um 7,1 Prozentpunkte über den bisher besten Ergebnissen liegt.