Debiasing-Lernen aus natürlich unbalancierten Pseudo-Labels

Pseudo-Labels sind zuverlässige Vorhersagen, die von einem Klassifikator auf unbezeichnete Ziel-Daten getroffen werden, der auf markierten Quelldaten trainiert wurde. Sie werden häufig eingesetzt, um ein Modell an unbezeichnete Daten anzupassen, beispielsweise in einem semi-supervised Learning-Umfeld.Unser zentrales Insight ist, dass Pseudo-Labels aufgrund inhärenter Datensimilarität naturgemäß unbalanciert sind, selbst wenn ein Modell auf ausgewogenen Quelldaten trainiert und auf ausgewogenen Ziel-Daten evaluiert wird. Wenn wir dieses bislang unbekannte Problem der unbalancierten Klassifikation, das aus Pseudo-Labels resultiert und nicht aus den wahren Trainingslabels stammt, adressieren, können wir Modell-Biases gegenüber falschen Dominanzklassen eliminieren, die durch Pseudo-Labels induziert werden.Wir schlagen eine neuartige und effektive debiased-Lernmethode mit Pseudo-Labels vor, die auf kontrafaktischer Argumentation und adaptiven Margin-Anpassungen basiert: Erstere beseitigt die Bias in der Klassifikator-Antwort, während letztere die Margin jeder Klasse entsprechend der Unbalancierung der Pseudo-Labels dynamisch anpasst. Durch umfangreiche Experimente validiert, erzielt unsere einfache debiased-Lernmethode erhebliche Genauigkeitsverbesserungen gegenüber dem Stand der Technik auf ImageNet-1K: 26 % bei semi-supervised Learning mit nur 0,2 % annotierten Daten und 9 % bei Zero-Shot-Learning. Unser Code ist verfügbar unter: https://github.com/frank-xwang/debiased-pseudo-labeling.