Selektive Pseudo-Label-Clustering

Tiefen neuronale Netzwerke (DNNs) bieten eine Möglichkeit, die anspruchsvolle Aufgabe der Clustering hochdimensionaler Daten zu bewältigen. DNNs können nützliche Merkmale extrahieren und somit eine niedrigdimensionale Darstellung erzeugen, die besser für Clustering-Techniken geeignet ist. Da Clustering typischerweise in einem rein unsupervised Setting erfolgt, bei dem keine Trainingslabels verfügbar sind, stellt sich die Frage, wie der DNN-Merkmalsextraktor trainiert werden kann. Die genauesten bisher verfügbaren Ansätze kombinieren den Training des DNNs mit dem Clustering-Ziel, sodass Informationen aus dem Clustering-Prozess genutzt werden können, um das DNN zu aktualisieren und somit bessere Merkmale für das Clustering zu erzeugen. Ein Problem bei diesem Ansatz ist, dass die von dem Clustering-Algorithmus erzeugten „Pseudolabels“ geräuschebehaftet sind und etwaige Fehler sich negativ auf den DNN-Training auswirken. In diesem Paper stellen wir selektives Pseudolabel-Clustering vor, das lediglich die zuverlässigsten Pseudolabels zur Ausbildung des DNNs nutzt. Wir beweisen formell die Leistungsverbesserung unter bestimmten Bedingungen. Angewandt auf die Aufgabe des Bild-Clustering erreicht der neue Ansatz eine state-of-the-art-Leistung auf drei populären Bild-Datensätzen. Der Quellcode ist unter https://github.com/Lou1sM/clustering verfügbar.