ノイズ付きラベルによる自己教師付き敵対的ノイズマスキングを用いた学習

大規模なデータセットの収集は、深層モデルの学習に不可欠であるが、データのラベル付けにおいてノイズラベルが避けがたく生じる。これは深層学習アルゴリズムに大きな課題をもたらす。従来のアプローチは、トレーニングサンプル間の統計的特性（例えば損失値など）に基づいて、ノイズを含むサンプルを特定・除去するか、またはそのラベルを修正することでこの問題を緩和しようとしてきた。本論文では、この課題に新たな視点からアプローチする。深層特徴マップに着目し、清浄なサンプルと誤ラベルされたサンプルで学習されたモデルが、明確に異なる活性化特徴分布を示すことを実証的に発見した。この観察に基づき、ラベル品質をガイドとするマスキングスキームを用いて深層特徴を正則化する、新たなロバストな学習手法「アドバーサリーノイズマスキング（adversarial noisy masking）」を提案する。この手法の核心は、入力データとラベルを同時に適応的に調整するマスキング機構を導入し、モデルがノイズを含むサンプルに過剰適合するのを防ぐことにある。さらに、入力データの再構成を目的とする補助タスクを設計することで、ノイズのない自己教師信号を自然に得ることができ、深層モデルの汎化能力を強化する。提案手法は構造が単純かつ柔軟であり、合成データおよび実世界のノイズを含むデータセットにおいて評価された結果、従来の最先端手法と比較して顕著な性能向上が達成された。