Command Palette
Search for a command to run...
Lernen vielfältiger und diskriminativer Darstellungen über das Prinzip der maximalen Reduktion der Codierungsrate
Lernen vielfältiger und diskriminativer Darstellungen über das Prinzip der maximalen Reduktion der Codierungsrate
Yaodong Yu Kwan Ho Ryan Chan Chong You Chaobing Song Yi Ma
Zusammenfassung
Um intrinsische, niedrig-dimensionale Strukturen aus hochdimensionalen Daten zu lernen, die zwischen Klassen am stärksten unterscheiden, schlagen wir das Prinzip der maximalen Reduktion der Kodierungsrate (MCR2) vor, eine informationstheoretische Maßzahl, die die Differenz der Kodierungsrate zwischen dem gesamten Datensatz und der Summe der einzelnen Klassen maximiert. Wir klären die Beziehungen zu den meisten bestehenden Ansätzen wie Kreuzentropie, Informationsbottleneck, Informationsgewinn, kontraktive und kontrastive Lernverfahren und liefern theoretische Garantien für die Lernung vielfältiger und diskriminativer Merkmale. Die Kodierungsrate kann präzise aus endlichen Stichproben degenerierter, unterraumähnlicher Verteilungen berechnet werden und ermöglicht die Lernung intrinsischer Darstellungen in übergeordneter Weise sowohl im überwachten, selbstüberwachten als auch im unüberwachten Lernsetting. Empirisch zeigen die durch dieses Prinzip allein gelernten Darstellungen eine erheblich höhere Robustheit gegenüber Labelverfälschungen bei der Klassifikation im Vergleich zu solchen, die auf Kreuzentropie basieren, und können führende Ergebnisse bei der Clustering gemischter Daten auf Basis selbstgelernter invarianten Merkmale erzielen.