SIMPLE: 도메인 일반화를 위한 전문화 모델-샘플 매칭

도메인 일반화(Domain Generalization, DG)에서 기존의 대부분의 방법들은 새로운 DG 알고리즘을 통해 특정 사전 훈련된 모델을 미세 조정하는 데 초점을 맞추고 있다. 본 논문에서는 이를 대체하는 새로운 방향을 제안한다. 즉, 사전 훈련된 모델의 풀(pool)을 미세 조정 없이 효율적으로 활용하는 것이다. 광범위한 실험적 및 이론적 증거를 통해 우리는 (1) 사전 훈련된 모델들은 어느 정도의 일반화 능력을 이미 보유하고 있으나, 모든 분포 변화에 대해 유일한 최고의 사전 훈련 모델은 존재하지 않으며, (2) 분포 외(OOD) 일반화 오차는 사전 훈련된 모델과 미지의 테스트 분포 사이의 적합도(fitness)에 의존함을 입증한다. 이러한 분석은 다양한 사전 훈련된 모델을 통합하고, 추천 기술을 활용하여 각 OOD 샘플에 가장 적합한 모델을 동적으로 배정하는 것이 효과적임을 시사한다. 이를 위해 우리는 도메인 일반화를 위한 전용 모델-샘플 매칭 방법인 SIMPLE을 제안한다. 먼저, 선형 레이블 공간 변환을 통해 사전 훈련된 모델의 예측을 타깃 도메인에 적응시킨다. 이후 모델의 특성에 대한 인식을 갖춘 매칭 네트워크를 제안하여, 각 테스트 샘플에 대해 적절한 사전 훈련 모델을 동적으로 추천한다. DomainBed 데이터셋에서의 실험 결과, 기존 최고 성능(SOTA) 방법 대비 본 방법은 개별 데이터셋 기준 최대 12.2%의 성능 향상과 평균 3.9%의 향상을 달성하였으며, 사전 훈련 모델 풀을 확대함으로써 추가로 6.1%의 성능 향상을 기록하였다. 또한 본 방법은 매우 효율적이며, 전통적인 사전 훈련 모델을 미세 조정하는 DG 방법 대비 훈련 속도에서 1000배 이상의 가속을 달성하였다. 코드 및 보충 자료는 https://seqml.github.io/simple 에서 확인할 수 있다.