HyperAIHyperAI

Command Palette

Search for a command to run...

ELF: Ein Early-Exiting-Framework für Long-Tailed-Klassifikation

Rahul Duggal Scott Freitas Sunny Dhamnani Duen Horng Chau Jimeng Sun

Zusammenfassung

Die natürliche Welt folgt oft einer langen-Schwanz-Datenverteilung, bei der nur wenige Klassen die überwiegende Mehrheit der Beispiele ausmachen. Diese langen Schwänze führen dazu, dass Klassifizierer überfitzen, insbesondere auf die Mehrheitsklasse. Um dies zu mildern, verwenden herkömmliche Ansätze üblicherweise Strategien zur Klassenbalancierung wie Daten-Resampling oder Verlustumformung. Allerdings berücksichtigen diese Methoden die sogenannte „Beispielhärte“ nicht ausreichend: Innerhalb einer Klasse sind einige Beispiele leichter zu klassifizieren als andere. Um diesen Aspekt der Härte in den Lernprozess einzubinden, schlagen wir den EarLy-exiting Framework (ELF) vor. Während des Trainings lernt ELF, einfache Beispiele frühzeitig zu verlassen, indem es Hilfszweige an ein Hauptnetzwerk anbindet. Dies bietet zwei Vorteile: Erstens konzentriert sich das neuronale Netzwerk zunehmend auf schwierige Beispiele, da diese einen größeren Beitrag zum Gesamtverlust leisten; zweitens wird zusätzliche Modellkapazität freigelegt, um schwierige Beispiele besser zu unterscheiden. Experimentelle Ergebnisse auf zwei großen Datensätzen, ImageNet LT und iNaturalist'18, zeigen, dass ELF die Zustand-des-Kunst-Genauigkeit um mehr als drei Prozent steigern kann. Zudem reduziert ELF die Inference-Zeit-FLOPS um bis zu 20 Prozent. ELF ist komplementär zu vorhergehenden Ansätzen und lässt sich nahtlos mit einer Vielzahl bestehender Methoden verbinden, um die Herausforderung langschwänziger Verteilungen zu bewältigen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp