HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen vielfältiger und diskriminativer Darstellungen über das Prinzip der maximalen Reduktion der Codierungsrate

Yaodong Yu Kwan Ho Ryan Chan Chong You Chaobing Song Yi Ma

Zusammenfassung

Um intrinsische, niedrig-dimensionale Strukturen aus hochdimensionalen Daten zu lernen, die zwischen Klassen am stärksten unterscheiden, schlagen wir das Prinzip der maximalen Reduktion der Kodierungsrate (MCR2\text{MCR}^2MCR2) vor, eine informationstheoretische Maßzahl, die die Differenz der Kodierungsrate zwischen dem gesamten Datensatz und der Summe der einzelnen Klassen maximiert. Wir klären die Beziehungen zu den meisten bestehenden Ansätzen wie Kreuzentropie, Informationsbottleneck, Informationsgewinn, kontraktive und kontrastive Lernverfahren und liefern theoretische Garantien für die Lernung vielfältiger und diskriminativer Merkmale. Die Kodierungsrate kann präzise aus endlichen Stichproben degenerierter, unterraumähnlicher Verteilungen berechnet werden und ermöglicht die Lernung intrinsischer Darstellungen in übergeordneter Weise sowohl im überwachten, selbstüberwachten als auch im unüberwachten Lernsetting. Empirisch zeigen die durch dieses Prinzip allein gelernten Darstellungen eine erheblich höhere Robustheit gegenüber Labelverfälschungen bei der Klassifikation im Vergleich zu solchen, die auf Kreuzentropie basieren, und können führende Ergebnisse bei der Clustering gemischter Daten auf Basis selbstgelernter invarianten Merkmale erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen vielfältiger und diskriminativer Darstellungen über das Prinzip der maximalen Reduktion der Codierungsrate | Paper | HyperAI