Adversarial Deep Embedded Clustering: Über eine bessere Abwägung zwischen Merkmalszufälligkeit und Merkmalsdrift

Die Verwendung von tiefen Autoencodern für die Clustering-Aufgabe wurde in den letzten Jahren umfassend untersucht. Aktuelle Ansätze basieren darauf, gleichzeitig eingebettete Merkmale zu lernen und die Datenpunkte im latenzraum zu clustern. Obwohl zahlreiche tiefgehende Clustering-Methoden im Vergleich zu flachen Modellen auf mehreren daten mit hoher semantischer Bedeutung überzeugende Ergebnisse erzielen, wurde ein kritischer Schwachpunkt solcher Modelle bisher übersehen. Ohne konkrete überwachende Signale kann die eingebettete Clustering-Zielfunktion den Latenzraum verzerren, indem sie auf unzuverlässigen Pseudolabels basiert. Dadurch kann das Netzwerk nicht repräsentative Merkmale erlernen, was wiederum die diskriminative Fähigkeit beeinträchtigt und zu schlechteren Pseudolabels führt. Um die Auswirkungen zufälliger, nicht diskriminativer Merkmale zu mindern, schlagen moderne, auf Autoencodern basierende Clustering-Papiere vor, die Rekonstruktionsverlustfunktion zur Vortrainierung und als Regularisierung während der Clustering-Phase zu nutzen. Dennoch kann ein Kompromiss zwischen Clustering und Rekonstruktion das Phänomen des Feature Drift verursachen. In diesem Artikel stellen wir ADEC (Adversarial Deep Embedded Clustering) vor, ein neuartiges, auf Autoencodern basierendes Clustering-Modell, das ein doppeltes Problem – nämlich Feature Randomness und Feature Drift – mittels adversarialer Trainingsstrategien adressiert. Wir demonstrieren empirisch die Eignung unseres Modells zur Bewältigung dieser Herausforderungen anhand standardisierter realer Datensätze. Experimentelle Ergebnisse bestätigen, dass unser Modell state-of-the-art-Methoden auf Basis von Autoencodern übertrifft.