HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstbeschriftung durch gleichzeitige Clustering- und Darstellungslernverfahren

Yuki Markus Asano Christian Rupprecht Andrea Vedaldi

Zusammenfassung

Die Kombination von Clustering und Darstellungslernen gilt als eines der vielversprechendsten Ansätze für das unüberwachte Lernen tiefer neuronalen Netze. Ein naives Vorgehen führt jedoch zu schlecht gestellten Lernproblemen mit entarteten Lösungen. In diesem Paper stellen wir eine neuartige und begründete Lernformulierung vor, die diese Probleme adressiert. Die Methode basiert auf der Maximierung der Information zwischen Labels und Indizes der Eingabedaten. Wir zeigen, dass dieses Kriterium die herkömmliche Minimierung der Kreuzentropie zu einem optimalen Transportproblem erweitert, das wir effizient für Millionen von Eingabebildern und Tausende von Labels mittels einer schnellen Variante des Sinkhorn-Knopp-Algorithmus lösen. Das resultierende Verfahren ist in der Lage, visuelle Daten selbst zu beschriften, um hochwertige Bildrepräsentationen ohne manuelle Etikettierung zu trainieren. Unsere Methode erreicht state-of-the-art-Leistungen im Bereich der Darstellungslernung für AlexNet und ResNet-50 auf den Datensätzen SVHN, CIFAR-10, CIFAR-100 und ImageNet und liefert erstmals ein selbstüberwachtes AlexNet, das die überwachte Baseline für die Erkennung von Objekten im Pascal VOC-Datensatz übertrifft. Der Quellcode und die Modelle sind verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp