17日前

ラベルノイズに対するロバスト性のためのマルチオブジェクティブ補間トレーニング

Diego Ortego, Eric Arazo, Paul Albert, Noel E. O&#39, Connor, Kevin McGuinness
ラベルノイズに対するロバスト性のためのマルチオブジェクティブ補間トレーニング
要約

標準的な交差エントロピー損失で訓練された深層ニューラルネットワークは、ノイズのあるラベルを記憶してしまうため、性能が低下する。この記憶化を緩和するための大多数の研究では、新たなロバストな分類損失関数の提案がなされている。一方、本研究では、対照学習(contrastive learning)と分類を共同で活用し、互いに補完し合うことで、ラベルノイズに対して高い性能を発揮するマルチオブジェクティブ補間訓練(Multi-Objective Interpolation Training, MOIT)手法を提案する。本研究では、ラベルノイズが存在する状況下で、標準的な教師付き対照学習が性能を低下させることを示し、その問題を緩和するための補間訓練戦略を提案する。さらに、対照学習によって得られたロバストな特徴表現を活用して、各サンプルのソフトラベルを推定する新たなラベルノイズ検出手法を提案する。このソフトラベルと元のラベルとの不一致は、ノイズを含むサンプルを正確に特定するのに有効である。この検出により、ノイズを含むサンプルをラベルなしデータとして扱い、半教師付き学習の枠組みで分類器を訓練することで、ノイズの記憶を防ぎ、特徴表現学習の質を向上させる。さらに、検出されたクリーンサンプル上で微調整を行うことでMOITを改善したMOIT+を提案する。ハイパーパラメータの検証およびアブレーションスタディにより、本手法の主要な構成要素の有効性が確認された。合成データおよび実世界のラベルノイズベンチマークにおける実験結果から、MOIT/MOIT+が最先端の性能を達成することが示された。コードは以下のURLで公開されている:https://git.io/JI40X。

ラベルノイズに対するロバスト性のためのマルチオブジェクティブ補間トレーニング | 最新論文 | HyperAI超神経