Command Palette
Search for a command to run...
L_DMI:ラベルノイズに対してロバストな深層ネットワークの学習のための新たな情報理論的損失関数
L_DMI:ラベルノイズに対してロバストな深層ネットワークの学習のための新たな情報理論的損失関数
Yilun Xu Yuqing Kong Peng Cao Yizhou Wang
概要
大規模データセットへの正確なラベル付与は、時間と費用の面で常に極めて高コストであることが知られている。低品質のラベル付きデータセットを取得することははるかに安価であるものの、特別な処理を行わずにそれらを用いる場合、訓練されたモデルの性能が著しく低下する傾向がある。ノイズラベルを用いた学習のためのさまざまな手法が提案されてきたが、多くの手法は限定的なノイズパターンしか扱えず、補助情報や追加ステップ(例えば、ノイズ遷移行列の事前知識または推定)を必要としたり、理論的根拠が不足している。本論文では、ラベルノイズに対して頑健な深層ニューラルネットワークの訓練を可能にする、新しい情報理論的損失関数L_DMIを提案する。L_DMIの核となるのは、決定論的相互情報量(Determinant-based Mutual Information; DMI)と呼ばれる相互情報量の一般化された形式であり、これは情報単調性(information-monotone)を満たすとともに、相対的に不変性(relatively invariant)を持つ特徴を持つ。筆者らの知る限り、L_DMIは、ノイズパターンに依存せず、インスタンス独立なラベルノイズに対して理論的に保証された頑健性を持つ初めての損失関数であり、補助情報なしに既存のあらゆる分類用ニューラルネットワークに直ちに適用可能である。理論的正当性に加え、実証的にも、Fashion-MNIST、CIFAR-10、Dogs vs. Cats、MRといった画像および自然言語処理データセットにおいて、多様な合成ノイズパターンとノイズ量を用いた分類タスクにおいて、L_DMIが他のすべての手法を上回ることを示した。さらに、実世界のデータセットClothing1Mを用いた実験でも、同等の優れた性能が確認された。