17日前
ノイズのあるラベルによる学習:ラベル誤訂正を抑制するための効率的な遷移行列推定によるアプローチ
Seong Min Kye, Kwanghee Choi, Joonyoung Yi, Buru Chang

要約
ノイズのあるラベルを用いた学習に関する最近の研究では、少量のクリーンデータを活用することで顕著な性能向上が達成されている。特に、モデルに依存しないメタラーニングに基づくラベル補正手法は、リアルタイムでのラベル補正によって性能をさらに向上させている。しかし、このような手法にはラベルの誤補正を防止する仕組みがなく、結果として避けがたい性能の低下が生じる。さらに、各訓練ステップにおいて少なくとも3回の逆伝播(back-propagation)が必要となるため、訓練速度が著しく遅延するという問題がある。こうした課題を緩和するため、本研究ではリアルタイムでラベル遷移行列(label transition matrix)を学習する、堅牢かつ効率的な手法を提案する。遷移行列を導入することで、補正されたすべてのサンプルに対して分類器が「懐疑的」になるよう設計され、誤補正の問題が軽減される。また、1回の逆伝播で各イテレーションごとにラベル遷移行列を効率的に推定できる二頭構造(two-head architecture)を導入し、ラベル補正によって引き起こされるノイズ分布の変化に、推定された行列が適切に追従するようにしている。広範な実験の結果、本手法は従来手法と比較して同等または優れた精度を達成しつつ、訓練効率において最も優れた性能を示した。