Apprentissage débiaisé à partir d'étiquettes pseudo-naturellement déséquilibrées

Les pseudo-étiquettes sont des prédictions fiables effectuées sur des données cibles non étiquetées par un classifieur entraîné sur des données sources étiquetées. Elles sont largement utilisées pour adapter un modèle à des données non étiquetées, par exemple dans un cadre d’apprentissage semi-supervisé.Notre observation clé est que les pseudo-étiquettes sont naturellement déséquilibrées en raison de la similarité intrinsèque des données, même lorsque le modèle est entraîné sur des données sources équilibrées et évalué sur des données cibles équilibrées. En traitant ce problème de classification déséquilibrée, jusque-là inconnu, qui provient des pseudo-étiquettes plutôt que des étiquettes de vérité terrain, nous pouvons éliminer les biais du modèle en faveur de majorités fausses induites par les pseudo-étiquettes.Nous proposons une nouvelle méthode efficace d’apprentissage débiaisé basée sur les pseudo-étiquettes, fondée sur une raisonnement contre-factuel et des marges adaptatives : le premier composant élimine le biais de réponse du classifieur, tandis que le second ajuste la marge de chaque classe en fonction du degré de déséquilibre des pseudo-étiquettes. Validée par des expérimentations étendues, notre méthode simple d’apprentissage débiaisé permet d’obtenir des gains significatifs en précision par rapport aux états de l’art sur ImageNet-1K : +26 % pour l’apprentissage semi-supervisé avec seulement 0,2 % d’annotations, et +9 % pour l’apprentissage zéro-shot. Notre code est disponible à l’adresse suivante : https://github.com/frank-xwang/debiased-pseudo-labeling.