要約
擬似ラベル（pseudo-labels）とは、ラベル付きのソースデータで学習された分類器が、ラベルなしのターゲットデータに対して行う信頼性の高い予測を指す。これらは、例えば半教師あり学習の設定において、モデルをラベルなしデータに適応させるために広く用いられている。本研究の重要な洞察は、モデルがバランスの取れたソースデータで学習され、バランスの取れたターゲットデータ上で評価されたとしても、データの内在的な類似性のため、擬似ラベルは自然に不均衡となるということである。従来、この問題は認識されていなかったが、真のラベルではなく、擬似ラベルに起因する不均衡分類問題に着目し、それを解決することで、擬似ラベルによって生じる誤った多数派（false majority）へのモデルバイアスを除去できる可能性がある。そこで、反事実的推論（counterfactual reasoning）と適応的マージン（adaptive margins）を基盤とした、新たな効果的なバイアス除去学習法を提案する。前者は分類器の応答バイアスを除去し、後者は擬似ラベルの不均衡度に応じて各クラスのマージンを動的に調整する。広範な実験により検証された結果、本手法は、ImageNet-1Kにおける最先端技術と比較して、顕著な精度向上を達成した。具体的には、0.2%のラベル付きデータを用いた半教師あり学習において26%、ゼロショット学習において9%の精度向上が得られた。本研究のコードは以下から公開されている：https://github.com/frank-xwang/debiased-pseudo-labeling。