HyperAIHyperAI

Command Palette

Search for a command to run...

Bildclusterung mit externer Anleitung

Yunfan Li Peng Hu Dezhong Peng Jiancheng Lv Jianping Fan Xi Peng

Zusammenfassung

Der Kern der Clustering-Methode besteht darin, vorherige Kenntnisse zu integrieren, um Supervisionsignale zu konstruieren. Von klassischen k-Means-Verfahren, die auf Datendichte basieren, bis hin zu jüngsten contrastiven Clustering-Ansätzen, die durch Self-Supervision geleitet werden, entspricht die Entwicklung von Clustering-Methoden intrinsisch der Weiterentwicklung von Supervisionsignalen. Derzeit werden erhebliche Anstrengungen unternommen, um interne Supervisionsignale aus den Daten selbst zu extrahieren. Dennoch wird die reichhaltige externe Wissensbasis – wie semantische Beschreibungen –, die naturgemäß zur Clustering-Aufgabe beiträgt, bedauerlicherweise oft übersehen. In dieser Arbeit schlagen wir vor, externe Kenntnisse als ein neues Supervisionsignal zur Leitung des Clustering einzusetzen, selbst wenn sie scheinbar irrelevant gegenüber den gegebenen Daten erscheinen. Um unsere Idee zu implementieren und zu validieren, entwickeln wir eine extern gesteuerte Clustering-Methode (Text-Aided Clustering, TAC), die die textuellen Semantiken von WordNet nutzt, um das Bild-Clustering zu unterstützen. Konkret wählt TAC zunächst diejenigen WordNet-Nomen aus, die Bilder am besten unterscheiden, um die Merkmalsunterscheidbarkeit zu verbessern. Anschließend verbessert TAC die Leistung des Bild-Clustering durch eine gegenseitige Ausbildung (mutual distillation) von Text- und Bildmodality, wobei Kreuzmodale-Nachbarschaftsinformationen genutzt werden. Experimente zeigen, dass TAC eine state-of-the-art-Leistung auf fünf weit verbreiteten sowie drei anspruchsvolleren Benchmark-Datensätzen für Bild-Clustering erzielt, darunter der vollständige ImageNet-1K-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp