要約
ノイズが混入したデータからの学習は、モデル性能を著しく低下させる困難な課題である。本論文では、分類タスクにおける頑健な表現学習およびノイズラベルの処理を目的として、TCL（Twin Contrastive Learning）と呼ばれる新たな二重対照学習モデルを提案する。具体的には、教師付きモデルの予測値を導入することで、表現空間上にガウス混合モデル（GMM）を構築し、GMM内のラベルなし潜在変数とノイズを含むラベル注釈を関連付ける。その後、TCLはデータ分布を考慮したもう一つの二成分GMMを用いて、誤ったラベルを持つサンプルを分布外（out-of-distribution）サンプルとして検出する。さらに、モデルの予測から真のターゲットをブートストラップするため、エントロピー正則化損失を用いたクロススーパービジョンを提案する。その結果、TCLはミックスアップ（mixup）と対照学習を組み合わせることで、推定ラベルと整合した判別性の高い表現を学習可能となる。複数の標準ベンチマークおよび実世界データセットにおける広範な実験結果から、TCLの優れた性能が示された。特に、90％のノイズラベルを含む極めてノイズの多いCIFAR-10データセットにおいて、7.5％の性能向上を達成した。ソースコードは以下のURLで公開されている：\url{https://github.com/Hzzone/TCL}。