Selbstüberwachtes Klassifikationsnetzwerk

Wir präsentieren Self-Classifier – einen neuen Ansatz für selbstüberwachtes, end-to-end Klassifikationslernen. Self-Classifier lernt Labels und Repräsentationen simultan in einer einstufigen, end-to-end Weise durch die Optimierung der Vorhersage gleicher Klassen für zwei augmentierte Ansichten desselben Samples. Um degenerierte Lösungen (d.h., Lösungen, bei denen alle Labels derselben Klasse zugeordnet werden) zu vermeiden, schlagen wir eine mathematisch motivierte Variante des Kreuzentropieverlusts vor, bei der eine gleichförmige A-priori-Verteilung auf die vorhergesagten Labels angewendet wird. In unserer theoretischen Analyse beweisen wir, dass degenerierte Lösungen nicht zur Menge der optimalen Lösungen unseres Ansatzes gehören. Self-Classifier ist einfach zu implementieren und skalierbar. Im Gegensatz zu anderen gängigen Ansätzen für unüberwachtes Klassifikationslernen und kontrastives Repräsentationslernen benötigt es keine Form von Vortrainings, Erwartungswert-Maximierung, Pseudo-Labelling, externe Clusteringmethoden, ein zweites Netzwerk, Stop-Gradient-Operation oder Negativpaare. Trotz seiner Einfachheit stellt unser Ansatz einen neuen Stand der Technik im Bereich unüberwachter Klassifikation von ImageNet dar und erreicht sogar vergleichbare Ergebnisse mit dem aktuellen Stand der Technik im Bereich unüberwachtem Repräsentationslernen. Der Quellcode ist unter https://github.com/elad-amrani/self-classifier verfügbar.