Selbstbeschriftung durch gleichzeitige Clustering- und Darstellungslernverfahren

Die Kombination von Clustering und Darstellungslernen gilt als eines der vielversprechendsten Ansätze für das unüberwachte Lernen tiefer neuronalen Netze. Ein naives Vorgehen führt jedoch zu schlecht gestellten Lernproblemen mit entarteten Lösungen. In diesem Paper stellen wir eine neuartige und begründete Lernformulierung vor, die diese Probleme adressiert. Die Methode basiert auf der Maximierung der Information zwischen Labels und Indizes der Eingabedaten. Wir zeigen, dass dieses Kriterium die herkömmliche Minimierung der Kreuzentropie zu einem optimalen Transportproblem erweitert, das wir effizient für Millionen von Eingabebildern und Tausende von Labels mittels einer schnellen Variante des Sinkhorn-Knopp-Algorithmus lösen. Das resultierende Verfahren ist in der Lage, visuelle Daten selbst zu beschriften, um hochwertige Bildrepräsentationen ohne manuelle Etikettierung zu trainieren. Unsere Methode erreicht state-of-the-art-Leistungen im Bereich der Darstellungslernung für AlexNet und ResNet-50 auf den Datensätzen SVHN, CIFAR-10, CIFAR-100 und ImageNet und liefert erstmals ein selbstüberwachtes AlexNet, das die überwachte Baseline für die Erkennung von Objekten im Pascal VOC-Datensatz übertrifft. Der Quellcode und die Modelle sind verfügbar.