ノイズのあるラベルからの学習：分離型メタラベル精製器を用いた手法

ノイズのあるラベルを用いた深層ニューラルネットワーク（DNN）の学習は、DNNが誤ったラベルを容易に記憶してしまうため、一般化能力が著しく低下するという課題に直面する。近年、小さなクリーンな検証データセットを活用して、潜在的なノイズラベルを同定・修正するメタラーニングに基づくラベル補正戦略が広く採用されている。クリーン化されたラベルを用いた学習は性能の向上に有効であるが、メタラーニング問題を解くには、モデル重みとハイパーパラメータ（すなわちラベル分布）の二重最適化（二段階最適化）を内包するネストされたループが不可避である。このため、従来の手法は交互更新を行う結合学習プロセスに依存するという妥協を強いられている。本論文では、モデル重みとラベル分布の両方を同時に最適化するアプローチが、最適な学習プロトコルを達成できず、バックボーンの表現能力および修正ラベルの精度に制約をもたらすことを実証的に明らかにした。この観察に基づき、新たなマルチステージ型ラベルクリーナー「DMLP（Dual-stage Multi-stage Label Purifier）」を提案する。DMLPはラベル補正プロセスを「ラベルフリーな表現学習」と「シンプルなメタラベルクリーナー」の二段階に分離する。これにより、DMLPはそれぞれの段階で特徴抽出とラベル補正に集中できる。DMLPは即時接続型（plug-and-play）のラベルクリーナーであり、クリーン化されたラベルは単純なエンドツーエンドネットワークの再学習や他のロバスト学習手法に直接再利用可能である。複数の合成データセットおよび実世界のノイズラベルデータセットにおいて、特に高いノイズレベル下でも最先端の性能を達成した。