ノイズのあるラベルを用いた学習における早期停止の理解と改善

深層ニューラルネットワーク（DNN）の記憶効果は、最先端のラベルノイズ学習手法において重要な役割を果たしている。この性質を活用するため、通常は学習の初期段階で最適化を停止する「エラー停止（early stopping）」のテクニックが用いられる。現行の手法は、DNN全体を一つの構造として捉え、その全体の学習をいつ停止するかを決定するが、DNNは一連の層の組み合わせとして捉えることができる。我々は、DNNの後段の層がラベルノイズに対して極めて感受性が高く、一方で前段の層は比較的堅牢であることを発見した。したがって、ネットワーク全体に対して統一された停止点を設定すると、異なる層同士が互いに悪影響を及ぼし合い、最終的な性能の低下を招く可能性がある。本論文では、この問題に対処するために、DNNを複数の部分に分離し、段階的に訓練するアプローチを提案する。従来のエラー停止のように、DNN全体を一度に学習するのではなく、まず前段の層を比較的多くのエポック数で最適化して初期学習を行う。その後、固定された前段の層を前提として、後段の層を少ないエポック数で段階的に学習することで、ノイズラベルの影響を緩和する。本手法を「プログレッシブ・エラー停止（Progressive Early Stopping, PES）」と呼ぶ。この手法はシンプルであるが、従来のエラー停止と比較して、より有望で安定した結果をもたらすことが示された。さらに、PESを既存のノイズラベル学習手法と組み合わせることで、画像分類ベンチマークにおいて最先端の性能を達成した。