グローバル-ローカル正則化：分布的ロバスト性を用いた手法

多くの状況下で優れた性能を発揮するものの、ディープニューラルネットワークは敵対的サンプルや分布シフトに対して脆弱であり、実世界における応用においてモデルの汎化能力を制限している。これらの問題を緩和するために、最近のアプローチでは分布ロバスト最適化（DRO: Distributional Robust Optimization）を活用し、最も困難な分布を特定した上で、その分布上で損失関数を最小化する手法が採用されている。これらのDROアプローチは一定の改善をもたらしているものの、明確な限界を有している。第一に、モデルのロバスト性を強化するために純粋に局所的な正則化に注目しているが、実世界の多くの応用（例：ドメイン適応、ドメイン一般化、敵対的機械学習）において有用なグローバル正則化効果を欠いている。第二に、既存のDROアプローチにおける損失関数は、常に最も困難な分布でのみ動作するため、元の分布と分離されてしまい、モデル化能力が制限される。本論文では、ワッサーシュタインに基づくDROフレームワークの思想を踏襲した新たな正則化手法を提案する。具体的には、特定の結合分布とワッサーシュタインに基づく不確実性を定義することで、元の分布と最も困難な分布を結合し、モデル化能力を向上させるとともに、局所的およびグローバルな正則化を併用可能にする。異なる学習問題に対する実証的研究により、本提案手法が、半教師付き学習、ドメイン適応、ドメイン一般化、敵対的機械学習の各分野において、既存の正則化手法を著しく上回ることを示した。