ノイズに強いつながり学習のためのIMAE: 平均絶対誤差は例を等しく扱わず、勾配の大きさの分散が重要である

本研究では、異常な訓練データに対する堅牢な深層学習を、経験的損失関数に組み込まれたサンプル重み付けの観点から考察します。具体的には、ロジットに関する勾配の大きさ（gradient magnitude with respect to logits）というこれまで十分に研究されていない角度からアプローチしています。その結果、以下の2つの重要な知見を得ました：平均絶対誤差（Mean Absolute Error, MAE）はサンプルを平等に扱わない。MAEは理論的にノイズに対して堅牢であることが証明されていますが、我々は新しい観察と洞察的な分析を提示します。まず、実際の使用において過学習不足の問題があることを明らかにしました。次に、MAEのノイズ堅牢性が訓練サンプルを平等に扱うものではなく、不確かなサンプルを強調することによるものであると分析しました。これは先行研究で主張されていた内容とは異なります。勾配の大きさの分散が重要である。MAEの適合能力を向上させつつそのノイズ堅牢性を保つための効果的かつ単純な解決策を提案します。MAEの全体的な重み付けスキーム（どのサンプルが高い重みを得るか）を変えずに、その重み付け分散を非線形に変更することで、2つのサンプル間での影響度比を調整します。この解決策は改良型MAE（Improved MAE, IMAE）と呼びます。我々は広範囲な実験を通じてIMAEの有効性を証明しました：クリーンラベル下での画像分類、合成ラベルノイズ下での画像分類、および実世界における未知のノイズ下での画像分類です。