要約
カテゴリカル交差エントロピー（CCE）損失を用いて訓練された深層ニューラルネットワークベースの分類器は、学習データにおけるラベルノイズに対して敏感である。ラベルノイズの影響を軽減するための代表的な手法の一つは、教師ありロバスト学習法と見なせるものであり、CCE損失をラベルノイズに対してロバストな損失関数に置き換える、あるいは損失値が高いサンプルを低重み化するといったアプローチが含まれる。近年、半教師あり学習（SSL）を活用する新たなアプローチが提案されており、これにより教師ありロバスト法の性能をさらに向上させ、（おそらくノイズを含む）未ラベルデータをより効果的に活用できるようになった。教師ありロバスト法はさまざまなデータタイプにおいて良好な性能を発揮することが示されているが、ラベルノイズ下における画像分類タスクでは、SSL法に比べて劣ることが明らかになっている。したがって、教師ありロバスト法が未ラベルサンプルをより効果的に活用できるようになれば、その性能がさらに向上するかどうかは未解決の課題である。本論文では、対照学習（contrastive learning）によって学習された表現を初期値として用いることで、教師ありロバスト法のラベルノイズ下での性能が著しく向上することを示す。驚くべきことに、単純なCCE損失による分類器の訓練法ですら、対照学習で初期化された場合、高レベルのラベルノイズ下で最先端のSSL法を50%以上上回る性能を達成することができる。本研究の実装コードは、{\url{https://github.com/arghosh/noisy_label_pretrain}} にて公開される予定である。