HyperAIHyperAI

Command Palette

Search for a command to run...

分布的に堅牢な監督学習は堅牢な分類器を生成するか?

Weihua Hu; Gang Niu; Issei Sato; Masashi Sugiyama

概要

分布的に堅牢な教師あり学習(DRSL)は、信頼性の高い機械学習システムを構築するために必要不可欠です。実世界で機械学習が展開される際、テストデータの分布が訓練データの分布と異なるため、その性能が大幅に低下する可能性があります。f-ダイバージェンスを用いたDRSLは、敵対的な再重み付けされた訓練損失を最小化することで、最悪の場合の分布シフトを明示的に考慮します。本論文では、このDRSLに焦点を当て、分類シナリオを中心に分析を行いました。DRSLは分布シフトのシナリオに対して明示的に定式化されているため、シフトした分布に対しても積極的に対処できる堅牢な分類器を与えることが自然に期待されます。しかし、意外にも、我々はDRSLが最終的には与えられた訓練分布に完全に適合する分類器しか生成しないことを証明しました。これは過度に悲観的な結果です。この悲観性は、二つの要因から来ています:分類に使用される特定の損失関数と、DRSLが堅牢であることを試みる分布の多様性が広すぎるという事実です。我々の分析に基づいて、この悲観性を克服する単純なDRSLを提案し、その効果を経験的に示しました。注:- 分布的に堅牢な教師あり学習(Distributionally Robust Supervised Learning, DRSL)- f-ダイバージェンス (f-divergences)- 敵対的な再重み付け (adversarially reweighted)- 損失関数 (loss functions)


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
分布的に堅牢な監督学習は堅牢な分類器を生成するか? | 記事 | HyperAI超神経