要約
ノイズを含むラベルを用いた深層学習は、弱教師あり学習における実用的に難しい問題である。最先端の手法である「Decoupling」と「Co-teaching+」は、「不一致（disagreement）」戦略がノイズラベルを用いた学習における問題を軽減する上で極めて重要であると主張している。本論文では、この観点とは異なるアプローチを採用し、二つのネットワーク間の多様性を学習中に低減することを目的とした堅牢な学習枠組み「JoCoR（Joint Co-regularization）」を提案する。具体的には、同一ミニバッチデータに対して二つのネットワークを用いて予測を行い、各学習例についてCo-Regularizationを用いた統合損失（joint loss）を計算する。その後、損失が小さい例を選別し、その例を用いて二つのネットワークのパラメータを同時に更新する。統合損失によって学習が行われることで、Co-Regularizationの効果により、二つのネットワークは学習が進むにつれて次第に類似していき、より一貫性のある予測を実現する。MNIST、CIFAR-10、CIFAR-100、Clothing1Mといったベンチマークデータセットから得られたノイズが加えられたデータを用いた広範な実験により、JoCoRがノイズラベルを用いた学習において、多数の最先端手法を上回る性能を発揮することが実証された。