3ヶ月前
二つの誤りは正しくならない:ラベルノイズを伴う学習における確認バイアスへの対処
Mingcai Chen, Hao Cheng, Yuntao Du, Ming Xu, Wenyu Jiang, Chongjun Wang

要約
ノイズのあるラベルは深層ネットワークの性能を損なう。ロバストな学習のため、代表的な二段階パイプラインは、誤ったラベルの除去と半教師付き学習を交互に実行する。しかし、ノイズラベルの一部を削除することは、情報の損失を引き起こす可能性がある。特に、データに依存するノイズ(例:クラス依存型やインスタンス依存型)ではその影響が顕著となる。さらに、代表的な二段階手法であるDivideMixの学習ダイナミクスを分析したところ、確認バイアス(confirmation bias)の支配的影響が明らかになった。すなわち、擬似ラベルが多数のノイズラベルを正しく修正できず、結果として誤りが蓄積されることが確認された。本研究では、ノイズラベルから得られる情報を十分に活用しつつ、誤った修正を軽減するため、擬似ラベル化と信頼度推定を統合した新しいハイブリッド手法「Robust Label Refurbishment(Robust LR)」を提案する。本手法が、ラベルノイズおよび確認バイアスの悪影響を効果的に軽減できることを示した。その結果、合成ノイズを含むCIFARシリーズにおいて異なるノイズレベル下で、また実世界のノイズを含むMini-WebVisionおよびANIMAL-10Nにおいて、これまでの手法を上回る最先端の性能を達成した。