분포 외 일반화를 위한 위험 외삽(Risk Extrapolation, REx)

분포 이동(distributional shift)은 머신러닝 예측 시스템을 실험실 환경에서 실제 세계로 이전할 때 직면하는 주요 장애물 중 하나이다. 이 문제를 해결하기 위해, 우리는 학습 도메인 간의 변동성이 테스트 시점에서 겪을 수 있는 변동성을 대표한다고 가정하며, 동시에 테스트 시점에서의 분포 이동이 더 극단적인 크기를 가질 수 있음을 고려한다. 특히, 학습 도메인 간의 위험(risk) 차이를 줄이는 것이, 입력에 인과적 요소와 반인과적 요소가 모두 존재하는 도전적인 상황을 포함하여 다양한 극단적인 분포 이동에 대한 모델의 민감도를 감소시킬 수 있음을 보여준다. 본 연구에서는 이러한 접근 방식을 '위험 외삽(Risk Extrapolation, REx)'이라 명명하며, 외삽된 도메인들의 변동 집합에 대한 강건 최적화의 형태로 제안한다(MM-REx). 또한 더 간단한 변형으로 학습 위험의 분산에 대한 페널티(V-REx)를 제안한다. 우리는 REx의 다양한 변형이 타깃의 인과 메커니즘을 회복할 수 있음을 증명하였으며, 입력 분포의 변화(즉, '공변량 이동', covariate shift)에 대해서도 일부 강건성을 제공함을 보였다. 인과적 원인에 의한 분포 이동과 공변량 이동이 동시에 발생하는 상황에서, REx는 이 두 가지 유형의 이동에 대한 강건성과의 적절한 트레이드오프를 통해, Invariant Risk Minimization과 같은 기존 방법들을 능가할 수 있음을 보였다.