HyperAIHyperAI

Command Palette

Search for a command to run...

Debiasing-Lernen aus natürlich unbalancierten Pseudo-Labels

Xudong Wang Zhirong Wu Long Lian Stella X. Yu

Zusammenfassung

Pseudo-Labels sind zuverlässige Vorhersagen, die von einem Klassifikator auf unbezeichnete Ziel-Daten getroffen werden, der auf markierten Quelldaten trainiert wurde. Sie werden häufig eingesetzt, um ein Modell an unbezeichnete Daten anzupassen, beispielsweise in einem semi-supervised Learning-Umfeld.Unser zentrales Insight ist, dass Pseudo-Labels aufgrund inhärenter Datensimilarität naturgemäß unbalanciert sind, selbst wenn ein Modell auf ausgewogenen Quelldaten trainiert und auf ausgewogenen Ziel-Daten evaluiert wird. Wenn wir dieses bislang unbekannte Problem der unbalancierten Klassifikation, das aus Pseudo-Labels resultiert und nicht aus den wahren Trainingslabels stammt, adressieren, können wir Modell-Biases gegenüber falschen Dominanzklassen eliminieren, die durch Pseudo-Labels induziert werden.Wir schlagen eine neuartige und effektive debiased-Lernmethode mit Pseudo-Labels vor, die auf kontrafaktischer Argumentation und adaptiven Margin-Anpassungen basiert: Erstere beseitigt die Bias in der Klassifikator-Antwort, während letztere die Margin jeder Klasse entsprechend der Unbalancierung der Pseudo-Labels dynamisch anpasst. Durch umfangreiche Experimente validiert, erzielt unsere einfache debiased-Lernmethode erhebliche Genauigkeitsverbesserungen gegenüber dem Stand der Technik auf ImageNet-1K: 26 % bei semi-supervised Learning mit nur 0,2 % annotierten Daten und 9 % bei Zero-Shot-Learning. Unser Code ist verfügbar unter: https://github.com/frank-xwang/debiased-pseudo-labeling.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Debiasing-Lernen aus natürlich unbalancierten Pseudo-Labels | Paper | HyperAI