C3: Kreuzinstanz-gesteuerte kontrastive Clustering

Clustering ist die Aufgabe, ähnliche Datenelemente ohne Verwendung vordefinierter Labels in Cluster zu gruppieren. Es wurde umfassend in der Literatur zum maschinellen Lernen untersucht, und jüngste Fortschritte im Bereich des tiefen Lernens haben das Interesse an diesem Feld erneut geweckt. Kontrastive Clustering-Modelle (CC) sind ein zentraler Bestandteil des tiefen Clustering, bei dem positive und negative Paare jedes Datenelements durch Datenverstärkung (data augmentation) generiert werden. CC-Modelle zielen darauf ab, einen Merkmalsraum zu lernen, in dem die instanzspezifischen und cluster-spezifischen Darstellungen von positiven Paaren zusammengefasst werden. Trotz Verbesserungen gegenüber dem Stand der Technik ignorieren diese Algorithmen jedoch Muster, die sich über verschiedene Instanzen erstrecken, welche jedoch wesentliche Informationen für die Verbesserung der Clustering-Leistung liefern. Dies führt zu einer erhöhten Rate an falsch-negativen Paaren und einer verringerten Rate an wahren positiven Paaren. In diesem Artikel stellen wir eine neuartige Methode für kontrastives Clustering vor, namens Cross-instance guided Contrastive Clustering (C3), die die Beziehungen zwischen verschiedenen Datenelementen berücksichtigt, um die Anzahl positiver Paare zu erhöhen und die Auswirkungen von falsch-negativen, verrauschten und anomalen Beispielen auf die gelernten Datenrepräsentationen zu verringern. Insbesondere definieren wir eine neue Verlustfunktion, die ähnliche Instanzen anhand ihrer instanzspezifischen Darstellungen identifiziert und deren Aggregation fördert. Darüber hinaus schlagen wir eine neuartige Gewichtungsmethode vor, um negative Paare effizienter auszuwählen. Ausführliche experimentelle Evaluierungen zeigen, dass unsere Methode auf etablierten Datensätzen aus dem Bereich der Computer Vision die derzeit besten Algorithmen übertrifft: Wir erreichen eine Verbesserung der Clustering-Genauigkeit um 6,6 %, 3,3 %, 5,0 %, 1,3 % und 0,3 % auf CIFAR-10, CIFAR-100, ImageNet-10, ImageNet-Dogs und Tiny-ImageNet.