그래디언트 매칭을 통한 도메인 일반화

기계 학습 시스템은 일반적으로 학습 데이터셋과 테스트 데이터셋의 분포가 유사하다는 가정을 한다. 그러나 실제 환경에서 이러한 시스템이 가져야 할 핵심 요건은 미처 경험하지 못한 도메인으로의 일반화 능력이다. 본 연구에서는 서로 다른 도메인의 기울기 간 내적(inner product)을 최대화함으로써 도메인 일반화를 목표로 하는 도메인 간 기울기 매칭 목적함수를 제안한다. 그러나 기울기 내적을 직접 최적화하는 것은 계산적으로 비현실적일 수 있으며, 이는 이차 도함수를 계산해야 하기 때문이다. 이를 해결하기 위해, 그 최적화를 근사하는 더 간단한 일차 도함수 알고리즘인 Fish를 제안한다. 우리는 Wilds 벤치마크의 6개 데이터셋을 대상으로 Fish의 효과를 검증하였으며, 이 벤치마크는 다양한 모달리티에서 발생하는 분포 이동을 잘 반영하고 있다. 제안한 방법은 이들 데이터셋에서 경쟁력 있는 성능을 보였으며, 4개의 데이터셋에서는 모든 기준선(baseline)을 초과하는 결과를 달성하였다. 또한 Wilds 벤치마크(실제 세계의 분포 이동을 반영)와 DomainBed 벤치마크(합성 데이터에서 실데이터로의 전이에 초점을 둠)를 모두 대상으로 실험을 수행하였다. 본 방법은 두 벤치마크 모두에서 경쟁력 있는 성능을 보이며, 다양한 도메인 일반화 과제에 걸쳐 효과적임을 입증하였다.