Tiefes Clustering: Zum Zusammenhang zwischen diskriminativen Modellen und K-Means

Im Kontext jüngerer Studien zum tiefen Clustering dominiert die Literatur diskriminative Modelle und berichtet über die wettbewerbsfähigsten Leistungen. Diese Modelle lernen ein tiefe, diskriminative neuronale Netzwerkklassifikator, bei dem die Labels latente Variablen sind. In der Regel verwenden sie multinomiale logistische Regressionsposteriors und Parameterregularisierung, was in der überwachten Lernmethode sehr üblich ist. Es wird allgemein anerkannt, dass diskriminative Zielfunktionen (z.B. solche, die auf gegenseitiger Information oder der KL-Divergenz basieren) flexibler als generative Ansätze (z.B. K-means) sind, da sie weniger Annahmen über die Datenverteilungen treffen und in der Regel viel bessere unüberwachte Ergebnisse des tiefen Lernens liefern. Auf den ersten Blick scheinen mehrere jüngere diskriminative Modelle möglicherweise nicht mit K-means verwandt zu sein. Diese Studie zeigt jedoch, dass diese Modelle unter milden Bedingungen und gängigen Posteriormodellen sowie Parameterregularisierung tatsächlich äquivalent zu K-means sind. Wir beweisen, dass die Maximierung der $L_2$-regularisierten gegenseitigen Information durch eine approximative Methode alternierender Richtungen (ADM) einer weichen und regularisierten K-means-Funktion entspricht. Unsere theoretische Analyse verbindet nicht nur direkt mehrere aktuelle erstklassige diskriminative Modelle mit K-means, sondern führt auch zu einem neuen weichen und regularisierten tiefen K-means-Algorithmus, der wettbewerbsfähige Leistungen bei mehreren Bildclustering-Benchmarks erzielt.