대규모 사전 학습 모델을 활용한 어댑터 믹스를 통한 도메인 일반화

실제 환경에서 모델을 배포하기 위해 분포 외(out-of-distribution, OOD) 상황에서도 잘 작동하는 강건한 비전 모델을 학습하는 것은 매우 중요한 과제이다. 이 분야에 대한 광범위한 연구에도 불구하고, 많은 제안된 방법들이 단순한 경험적 위험 최소화(empirical risk minimization, ERM) 접근법에 비해 거의 미미한 성능 향상을 보이고 있으며, 이는 제한된 하이퍼파라미터 탐색 공간에서 평가된 벤치마크 기준이다. 본 연구의 초점은 대규모 사전 학습 모델의 지식을 활용하여 OOD 상황 처리 능력을 향상시키고 도메인 일반화 문제를 해결하는 데 있다. 그러나 기존 연구는 대규모 사전 학습 모델을 단순히 미세조정(fine-tuning)할 경우 OOD 강건성이 저하될 수 있음을 밝혀냈다. 따라서 우리는 대규모 모델을 활용하면서도 OOD 강건성을 효과적으로 유지하기 위해 파라미터 효율적인 미세조정(parameter-efficient fine-tuning, PEFT) 기법을 사용한다. 광범위한 실험과 분석을 통해 가장 효과적인 접근법은 다양한 모델을 앙상블하는 것과 사전 학습 규모를 확대하는 것임을 확인하였다. 그 결과, 도메인 일반화 과제에서 최신 기준(SOTA) 성능을 달성하였다. 코드와 프로젝트 페이지는 다음에서 확인할 수 있다: https://cvlab-kaist.github.io/MoA