초록
데이터 분포의 변화에 대해 잘 일반화하는 강건한 모델을 학습하는 것은 실세계 응용에서 매우 중요하다. 이를 위해 다수의 훈련 도메인에서 동시에 학습하면서 각 도메인 간 다양한 종류의 불변성(invariance)을 강제하는 방식에 대한 관심이 점점 증가하고 있다. 그러나 기존의 모든 접근법은 통제된 평가 프로토콜 하에서 체계적인 성능 향상을 보여주지 못하고 있다. 본 논문에서는 손실 함수의 기울기 공간에서 도메인 불변성을 강제하는 새로운 정규화 기법인 Fishr을 제안한다. 구체적으로, 훈련 도메인 간 손실 함수의 기울기의 도메인 수준 분산(variance)을 일치시키는 방식으로 작동한다. 본 방법은 기울기 공분산(covariance), 피셔 정보(Fisher Information), 손실 함수의 헤시안(Hessian) 간의 밀접한 관계에 기반한다. 특히, Fishr이 최종 가중치 주변에서 도메인 수준의 손실 곡면(loss landscapes)을 국소적으로 일치시킴을 보여준다. 광범위한 실험을 통해 Fishr이 분포 외 일반화(out-of-distribution generalization)에 효과적임을 입증하였다. 특히, DomainBed 벤치마크에서 기존 최고 성능을 초과하며, 경험적 리스크 최소화(Empirical Risk Minimization)보다 일관되게 더 우수한 성능을 보였다. 코드는 https://github.com/alexrame/fishr 에서 공개되어 있다.