要約
分布的に堅牢な教師あり学習（DRSL）は、信頼性の高い機械学習システムを構築するために必要不可欠です。実世界で機械学習が展開される際、テストデータの分布が訓練データの分布と異なるため、その性能が大幅に低下する可能性があります。f-ダイバージェンスを用いたDRSLは、敵対的な再重み付けされた訓練損失を最小化することで、最悪の場合の分布シフトを明示的に考慮します。本論文では、このDRSLに焦点を当て、分類シナリオを中心に分析を行いました。DRSLは分布シフトのシナリオに対して明示的に定式化されているため、シフトした分布に対しても積極的に対処できる堅牢な分類器を与えることが自然に期待されます。しかし、意外にも、我々はDRSLが最終的には与えられた訓練分布に完全に適合する分類器しか生成しないことを証明しました。これは過度に悲観的な結果です。この悲観性は、二つの要因から来ています：分類に使用される特定の損失関数と、DRSLが堅牢であることを試みる分布の多様性が広すぎるという事実です。我々の分析に基づいて、この悲観性を克服する単純なDRSLを提案し、その効果を経験的に示しました。注：- 分布的に堅牢な教師あり学習（Distributionally Robust Supervised Learning, DRSL）- f-ダイバージェンス (f-divergences)- 敵対的な再重み付け (adversarially reweighted)- 損失関数 (loss functions)