Langtail-Recognition durch Gewichtsbalancierung

In der realen offenen Welt folgen Daten tendenziell langen Schwanz-Verteilungen der Klassen, was das gut untersuchte Problem der Long-Tailed Recognition (LTR) motiviert. Eine naive Trainingsstrategie führt zu Modellen, die gegenüber häufigen Klassen durch höhere Genauigkeit verzerrt sind. Der Schlüssel zur Bewältigung von LTR liegt in der Balance verschiedener Aspekte, darunter die Datenverteilung, die Trainingsverluste und die Gradienten im Lernprozess. Wir erforschen eine orthogonale Herangehensweise: die Gewichtsbalance, angeregt durch die empirische Beobachtung, dass der naiv trainierte Klassifikator für häufige Klassen „künstlich“ größere Gewichtsnormen aufweist (da für diese Klassen reichlich Trainingsdaten zur Verfügung stehen, im Gegensatz zu seltenen Klassen). Wir untersuchen drei Techniken zur Gewichtsbalance: L2-Normalisierung, Weight Decay und MaxNorm. Zunächst zeigen wir, dass die L2-Normalisierung die pro-Klassen-Gewichte „perfekt“ auf die Einheitsnorm normiert, diese starke Einschränkung jedoch verhindern kann, dass die Klassen bessere Klassifikatoren lernen. Im Gegensatz dazu bestraft Weight Decay größere Gewichte stärker und fördert so das Lernen kleiner, ausgewogener Gewichte; die MaxNorm-Beschränkung ermutigt das Wachsen kleiner Gewichte innerhalb einer Normkugel, begrenzt jedoch alle Gewichte durch den Radius. Unsere umfassende Studie zeigt, dass beide Ansätze helfen, ausgewogene Gewichte zu lernen und die LTR-Genauigkeit erheblich verbessern. Überraschenderweise verbessert Weight Decay, obwohl er in der LTR-Forschung bisher wenig untersucht wurde, signifikant gegenüber vorherigen Ansätzen. Daher übernehmen wir ein zweistufiges Trainingsparadigma und schlagen einen einfachen Ansatz für LTR vor: (1) Merkmale lernen mittels Kreuzentropieverlust unter Anpassung des Weight Decay, und (2) Klassifikatoren lernen mittels klassenbalanciertem Verlust unter Anpassung von Weight Decay und MaxNorm. Unser Ansatz erreicht die derzeit beste Genauigkeit auf fünf Standardbenchmarks und kann als zukünftige Referenzbasis für die Long-Tailed Recognition dienen.