HyperAIHyperAI

Command Palette

Search for a command to run...

Langtail-Recognition durch Gewichtsbalancierung

Shaden Alshammari Yu-Xiong Wang Deva Ramanan Shu Kong

Zusammenfassung

In der realen offenen Welt folgen Daten tendenziell langen Schwanz-Verteilungen der Klassen, was das gut untersuchte Problem der Long-Tailed Recognition (LTR) motiviert. Eine naive Trainingsstrategie führt zu Modellen, die gegenüber häufigen Klassen durch höhere Genauigkeit verzerrt sind. Der Schlüssel zur Bewältigung von LTR liegt in der Balance verschiedener Aspekte, darunter die Datenverteilung, die Trainingsverluste und die Gradienten im Lernprozess. Wir erforschen eine orthogonale Herangehensweise: die Gewichtsbalance, angeregt durch die empirische Beobachtung, dass der naiv trainierte Klassifikator für häufige Klassen „künstlich“ größere Gewichtsnormen aufweist (da für diese Klassen reichlich Trainingsdaten zur Verfügung stehen, im Gegensatz zu seltenen Klassen). Wir untersuchen drei Techniken zur Gewichtsbalance: L2-Normalisierung, Weight Decay und MaxNorm. Zunächst zeigen wir, dass die L2-Normalisierung die pro-Klassen-Gewichte „perfekt“ auf die Einheitsnorm normiert, diese starke Einschränkung jedoch verhindern kann, dass die Klassen bessere Klassifikatoren lernen. Im Gegensatz dazu bestraft Weight Decay größere Gewichte stärker und fördert so das Lernen kleiner, ausgewogener Gewichte; die MaxNorm-Beschränkung ermutigt das Wachsen kleiner Gewichte innerhalb einer Normkugel, begrenzt jedoch alle Gewichte durch den Radius. Unsere umfassende Studie zeigt, dass beide Ansätze helfen, ausgewogene Gewichte zu lernen und die LTR-Genauigkeit erheblich verbessern. Überraschenderweise verbessert Weight Decay, obwohl er in der LTR-Forschung bisher wenig untersucht wurde, signifikant gegenüber vorherigen Ansätzen. Daher übernehmen wir ein zweistufiges Trainingsparadigma und schlagen einen einfachen Ansatz für LTR vor: (1) Merkmale lernen mittels Kreuzentropieverlust unter Anpassung des Weight Decay, und (2) Klassifikatoren lernen mittels klassenbalanciertem Verlust unter Anpassung von Weight Decay und MaxNorm. Unser Ansatz erreicht die derzeit beste Genauigkeit auf fünf Standardbenchmarks und kann als zukünftige Referenzbasis für die Long-Tailed Recognition dienen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp