Deep Embedded K-Means Clustering

In jüngster Zeit haben tiefe Clustering-Methoden an Bedeutung gewonnen, da tiefe neuronale Netzwerke (DNNs), wie beispielsweise Autoencoder, eine hohe Repräsentationskraft besitzen. Der zentrale Ansatz besteht darin, dass Repräsentationslernens und Clustering sich gegenseitig stärken können: Gute Repräsentationen führen zu gutem Clustering, während gutes Clustering wiederum gute überwachende Signale für das Repräsentationslernens liefert. Kritische Fragen sind dabei: 1) Wie lässt sich das Repräsentationslernens und Clustering optimal optimieren? 2) Soll die Rekonstruktionsverlustfunktion des Autoencoders stets berücksichtigt werden? In diesem Artikel stellen wir DEKM (Deep Embedded K-Means) vor, um diese beiden Fragen zu beantworten. Da der durch den Autoencoder generierte Embedding-Raum möglicherweise keine offensichtliche Clusterstruktur aufweist, schlagen wir vor, diesen Embedding-Raum durch eine weitere Transformation in einen neuen Raum zu überführen, der die Clusterstrukturinformationen deutlicher offenlegt. Dies wird durch eine orthogonale Transformationsmatrix erreicht, die die Eigenvektoren der innerhalb-der-Klasse-Streuungsmatrix des K-Means enthält. Die zugehörigen Eigenwerte geben an, wie wichtig die Beiträge der einzelnen Eigenvektoren zur Clusterstrukturinformation im neuen Raum sind. Unser Ziel ist es, die Clusterstrukturinformation zu maximieren. Dazu verzichten wir auf den Decoder und schlagen eine gierige Optimierungsmethode für die Repräsentation vor. Repräsentationslernens und Clustering werden in DEKM abwechselnd optimiert. Experimentelle Ergebnisse auf realen Datensätzen zeigen, dass DEKM eine state-of-the-art Leistung erzielt.