퍼지 레이블(pseudo-labels)은 레이블이 붙은 소스 데이터로 훈련된 분류기에서 레이블이 없는 타겟 데이터에 대해 생성한 신뢰도가 높은 예측값을 의미한다. 이는 반감독 학습 등에서 모델을 레이블이 없는 데이터에 적응시키는 데 널리 활용된다.본 연구의 핵심 통찰은, 소스 데이터와 타겟 데이터 모두 균형 잡힌 분포를 가진다고 가정하더라도, 데이터의 본질적인 유사성에 기인하여 퍼지 레이블은 자연스럽게 불균형하게 나타난다는 점이다. 기존에는 진정한 레이블을 기반으로 한 불균형 분류 문제에 초점을 맞추었지만, 퍼지 레이블에서 발생하는 이전까지 알려지지 않은 불균형 문제를 직접 다룬다면, 퍼지 레이블에 의해 유도되는 잘못된 주류(대다수)에 대한 모델 편향을 제거할 수 있다.이에 따라 우리는 대조적 추론(counterfactual reasoning)과 적응형 마진(adaptive margins)을 기반으로 한 새로운 효과적인 편향 제거 학습 방법을 제안한다. 대조적 추론은 분류기의 반응 편향을 제거하고, 적응형 마진은 각 클래스의 마진을 퍼지 레이블의 불균형 정도에 따라 조정함으로써 모델의 성능을 향상시킨다. 광범위한 실험을 통해 검증된 본 방법은 기존 최고 수준의 기술 대비 이미지넷-1K(ImageNet-1K)에서 놀라운 성능 향상을 보였다. 반감독 학습에서 0.2%의 레이블만을 사용할 경우 정확도가 26% 향상되었으며, 제로샷 학습(zero-shot learning)에서는 9%의 성능 향상이 이루어졌다. 본 연구의 코드는 다음 링크에서 공개되어 있다: https://github.com/frank-xwang/debiased-pseudo-labeling.