17日前
ノイズのあるラベルに対するニューラルネットワークのロバストな学習のためのコアセット
Baharan Mirzasoleiman, Kaidi Cao, Jure Leskovec

要約
現代のニューラルネットワークは、現実世界のデータセットに頻繁に見られるノイズの多いラベルに対して過剰適合(overfitting)する可能性を有している。これまでに著しい進展が見られつつあるものの、既存の手法はノイズラベルを用いて訓練されたニューラルネットワークの性能について、理論的な保証を提供する点で限界がある。本研究では、ノイズラベルを用いた深層ネットワークのロバストな訓練に対して強固な理論的保証を提供する新たなアプローチを提案する。本手法の核心的なアイデアは、近似的に低ランクのヤコビ行列を実現するように、クリーンなデータ点の重み付き部分集合(コアセット)を選択することにある。我々は、その部分集合上で勾配降下法を適用した場合、ノイズラベルに対して過剰適合しないことを理論的に証明する。広範な実験により、本理論の妥当性が裏付けられ、提案する部分集合上で訓練された深層ネットワークが、最先端手法と比較して著しく優れた性能を発揮することを示している。具体的には、CIFAR-10で80%のノイズラベルを含む条件下で精度が6%向上し、mini Webvisionでは7%の精度向上が達成された。