Lernen von Darstellungen für die Clusterung durch Prototypen-Streuung und positive Stichprobenziehung

Bestehende tiefe Clustering-Methoden stützen sich entweder auf kontrastive oder nicht-kontrastive Darstellungslernverfahren für nachgeschaltete Clustering-Aufgaben. Kontrastive Ansätze nutzen negative Paare, um gleichmäßige Darstellungen für das Clustering zu erlernen; negative Paare können jedoch zwangsläufig zu dem sogenannten Class-Collision-Problem führen, was die Clustering-Leistung beeinträchtigt. Nicht-kontrastive Methoden hingegen vermeiden das Class-Collision-Problem, erzeugen jedoch möglicherweise nicht-gleichmäßige Darstellungen, was wiederum zur Kollapsierung des Clustering führen kann. Um die Stärken beider Ansätze zu vereinen, präsentieren wir in diesem Artikel eine neuartige end-to-end tiefe Clustering-Methode mit Prototypen-Streuung und positiver Stichprobenziehung, die als ProPos bezeichnet wird. Konkret maximieren wir zunächst die Distanz zwischen prototypischen Darstellungen – eine sogenannte Prototypen-Streuungsverlustfunktion –, welche die Gleichmäßigkeit der Darstellungen verbessert. Zweitens richten wir eine Augmentierung einer Instanz so aus, dass sie mit den ausgewählten Nachbarn einer anderen Augmentierung übereinstimmt – unter der Annahme, dass diese Paare im Embedding-Raum tatsächlich positiv sind –, um die Kompaktheit innerhalb der Cluster zu verbessern; dies wird als positive Stichprobenalignment bezeichnet. Die Stärken von ProPos liegen in der Vermeidung des Class-Collision-Problems, gleichmäßigen Darstellungen, gut getrennten Clustern und hoher Kompaktheit innerhalb der Cluster. Durch die end-to-end-Optimierung von ProPos im Rahmen eines Erwartung-Maximierung (EM)-Frameworks zeigen umfangreiche Experimente, dass ProPos auf mittelgroßen Clustering-Benchmark-Datensätzen konkurrenzfähige Leistung erzielt und auf großen Datensätzen eine neue State-of-the-Art-Leistung erreicht. Der Quellcode ist unter \url{https://github.com/Hzzone/ProPos} verfügbar.