3ヶ月前

ノイズ付きラベルを用いた選択的教師付き対比学習

Shikun Li, Xiaobo Xia, Shiming Ge, Tongliang Liu
ノイズ付きラベルを用いた選択的教師付き対比学習
要約

深層ネットワークは、データを潜在表現に埋め込み、その後のタスクを遂行する強力な能力を有している。しかし、その能力の多くは高品質なラベル付きデータに依存しており、その収集には大きなコストがかかる。一方で、ノイズを含むラベルはより低コストで入手可能であるが、それらは表現の歪みを引き起こし、一般化性能の低下を招く。本稿では、頑健な表現学習とノイズラベルの処理を実現するため、選択的教師付き対比学習(Selective-Supervised Contrastive Learning, Sel-CL)を提案する。具体的には、Sel-CLは、表現学習において強力な性能を発揮する教師付き対比学習(Supervised Contrastive Learning, Sup-CL)を拡張したものである。ただし、Sup-CLはノイズを含むラベルが存在する環境では性能が劣化する。Sel-CLは、Sup-CLの問題の根本原因に着目している。すなわち、Sup-CLがペアワイズ(対毎)に動作するため、ノイズラベルによって構成された誤ったペアが表現学習を誤導してしまう。この問題を緩和するために、ノイズラベル率を事前に知ることなく、ノイズを含むペアの中から信頼性の高いペアを抽出し、Sup-CLに利用する。選択プロセスでは、学習された表現と与えられたラベルとの整合性を測定することで、信頼性の高いサンプルを同定し、それらを用いて信頼性の高いペアを構築する。さらに、構築された信頼性の高いペアにおける表現の類似度分布を活用して、さらなる信頼性の高いペアをノイズを含むペアの中から同定する。最終的に、得られたすべての信頼性の高いペアをSup-CLに用いて表現を強化する。複数のノイズを含むデータセットにおける実験により、本手法が学習した表現の頑健性が確認され、最先端の性能を達成した。ソースコードは以下のURLから公開されている:https://github.com/ShikunLi/Sel-CL