初期学習正則化はノイズのあるラベルの記憶を防止する

ノイズのあるラベルを伴う分類タスクにおいて、深層学習を用いるための新規フレームワークを提案する。ノイズのあるラベルで学習を行う際、深層ニューラルネットワークは「初期学習（early learning）」段階において、まずクリーンなラベルを持つ訓練データに適合し、その後、誤ったラベルを持つサンプルを記憶（memorization）する傾向が観察されている。本研究では、初期学習と記憶化が、単純な線形モデルでさえも含む高次元分類タスクにおいて根本的な現象であることを理論的に証明し、その背景を明らかにする。これらの知見を踏まえ、初期学習段階の進捗を活用する新しいノイズ分類手法を開発した。既存の手法は、初期学習中のモデル出力を利用してクリーンラベルを持つサンプルを検出しその後、誤ったラベルを無視するか修正しようとするが、本研究では異なるアプローチを採用する。すなわち、初期学習の進展を正則化を通じて活かす戦略を採用する。本手法の鍵となる要素は二つである。第一に、モデル出力に基づいてターゲット確率を生成するための半教師付き学習技術を活用する。第二に、モデルがこれらのターゲットへと向かうようにする正則化項を設計し、誤ったラベルの記憶を間接的に抑制する。実験結果から、このフレームワークは複数の標準ベンチマークおよび実世界のデータセットにおいて、ノイズラベルに対して高いロバスト性を示し、最先端の手法と同等の性能を達成することが明らかになった。