要約
本稿では、ディープラーニングにおけるデータ不均衡やラベルノイズ問題に対処するための、シンプルかつ証明可能な手法（以下、ABSGDと呼ぶ）を提案する。本手法はモーメンタムSGDに対する単純な修正であり、ミニバッチ内の各サンプルに個別に重みを割り当てる点が特徴である。サンプルの個別重みは、そのデータのスケーリングされた損失値の指数関数に比例する形で設定され、このスケーリング係数は分布ロバスト最適化（DRO: Distributionally Robust Optimization）の枠組みにおける正則化パラメータとして解釈できる。スケーリング係数の符号が正か負かに応じて、ABSGDはそれぞれ情報正則化付きのミニマックス問題またはミニミニ問題の定常点に収束することが保証される。既存のクラスレベルでの重み付け手法と比較して、本手法は各クラス内の個別サンプル間の多様性を捉えることができる。また、メタラーニングを用いた既存の個別レベル重み付け手法はミニバッチの確率的勾配を計算する際に3回のバックプロパゲーションを必要とするが、ABSGDは標準的なディープラーニング手法と同様、各反復で1回のバックプロパゲーションで済むため、より効率的である。さらに、ABSGDは他のロバスト損失関数と追加コストなしに組み合わせて使用可能であり、高い柔軟性を有する。複数のベンチマークデータセットを用いた実証実験により、提案手法の有効性が示された。\footnote{コードは以下のURLから入手可能: \url{https://github.com/qiqi-helloworld/ABSGD/}}