HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachtes Klassifikationsnetzwerk

Elad Amrani Leonid Karlinsky Alex Bronstein

Zusammenfassung

Wir präsentieren Self-Classifier – einen neuen Ansatz für selbstüberwachtes, end-to-end Klassifikationslernen. Self-Classifier lernt Labels und Repräsentationen simultan in einer einstufigen, end-to-end Weise durch die Optimierung der Vorhersage gleicher Klassen für zwei augmentierte Ansichten desselben Samples. Um degenerierte Lösungen (d.h., Lösungen, bei denen alle Labels derselben Klasse zugeordnet werden) zu vermeiden, schlagen wir eine mathematisch motivierte Variante des Kreuzentropieverlusts vor, bei der eine gleichförmige A-priori-Verteilung auf die vorhergesagten Labels angewendet wird. In unserer theoretischen Analyse beweisen wir, dass degenerierte Lösungen nicht zur Menge der optimalen Lösungen unseres Ansatzes gehören. Self-Classifier ist einfach zu implementieren und skalierbar. Im Gegensatz zu anderen gängigen Ansätzen für unüberwachtes Klassifikationslernen und kontrastives Repräsentationslernen benötigt es keine Form von Vortrainings, Erwartungswert-Maximierung, Pseudo-Labelling, externe Clusteringmethoden, ein zweites Netzwerk, Stop-Gradient-Operation oder Negativpaare. Trotz seiner Einfachheit stellt unser Ansatz einen neuen Stand der Technik im Bereich unüberwachter Klassifikation von ImageNet dar und erreicht sogar vergleichbare Ergebnisse mit dem aktuellen Stand der Technik im Bereich unüberwachtem Repräsentationslernen. Der Quellcode ist unter https://github.com/elad-amrani/self-classifier verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selbstüberwachtes Klassifikationsnetzwerk | Paper | HyperAI