Bildclusterung mit externer Anleitung

Der Kern der Clustering-Methode besteht darin, vorherige Kenntnisse zu integrieren, um Supervisionsignale zu konstruieren. Von klassischen k-Means-Verfahren, die auf Datendichte basieren, bis hin zu jüngsten contrastiven Clustering-Ansätzen, die durch Self-Supervision geleitet werden, entspricht die Entwicklung von Clustering-Methoden intrinsisch der Weiterentwicklung von Supervisionsignalen. Derzeit werden erhebliche Anstrengungen unternommen, um interne Supervisionsignale aus den Daten selbst zu extrahieren. Dennoch wird die reichhaltige externe Wissensbasis – wie semantische Beschreibungen –, die naturgemäß zur Clustering-Aufgabe beiträgt, bedauerlicherweise oft übersehen. In dieser Arbeit schlagen wir vor, externe Kenntnisse als ein neues Supervisionsignal zur Leitung des Clustering einzusetzen, selbst wenn sie scheinbar irrelevant gegenüber den gegebenen Daten erscheinen. Um unsere Idee zu implementieren und zu validieren, entwickeln wir eine extern gesteuerte Clustering-Methode (Text-Aided Clustering, TAC), die die textuellen Semantiken von WordNet nutzt, um das Bild-Clustering zu unterstützen. Konkret wählt TAC zunächst diejenigen WordNet-Nomen aus, die Bilder am besten unterscheiden, um die Merkmalsunterscheidbarkeit zu verbessern. Anschließend verbessert TAC die Leistung des Bild-Clustering durch eine gegenseitige Ausbildung (mutual distillation) von Text- und Bildmodality, wobei Kreuzmodale-Nachbarschaftsinformationen genutzt werden. Experimente zeigen, dass TAC eine state-of-the-art-Leistung auf fünf weit verbreiteten sowie drei anspruchsvolleren Benchmark-Datensätzen für Bild-Clustering erzielt, darunter der vollständige ImageNet-1K-Datensatz.