分布外一般化を実現するためのリスク外挿法（Risk Extrapolation, REx）

分布シフトは、機械学習予測システムを研究開発環境から実世界に移行する際の主要な障壁の一つである。本研究では、訓練ドメイン間の変動がテスト時に遭遇しうる変動を代表すると仮定しつつ、テスト時のシフトがその規模においてより極端である可能性も考慮する。特に、訓練ドメイン間のリスクの差異を低減することで、因果的および反因果的要素を含む入力という困難な状況を含む広範な極端な分布シフトに対するモデルの感度を低下させられることを示す。このアプローチを、拡張されたドメインの摂動集合上でロバスト最適化の一形態として、リスク外挿（Risk Extrapolation, REx）として提唱する。さらに、訓練リスクの分散に対するペナルティを導入した簡略化されたバージョン（V-REx）も提案する。理論的に、RExの変種がターゲットの因果メカニズムを回復しつつ、入力分布の変化（「共変量シフト」）に対するある程度のロバスト性を提供できることを証明する。因果的に誘発される分布シフトと共変量シフトの両者を適切にトレードオフすることで、RExはこれらのシフトが同時に発生する状況において、従来の不変リスク最小化（Invariant Risk Minimization）など他の手法を上回る性能を発揮する。