SoMA: 도메인 일반화 가능한 표현 학습을 위한 특이값 분해 소성분 적응

도메인 일반화(Domain Generalization, DG)는 하나 이상의 소스 도메인을 활용하여 모델을 적응시켜, 미리 보지 못한 타겟 도메인에서도 견고한 성능을 보장하는 것을 목표로 한다. 최근, 기초 모델(foundation model)에 대한 파라미터 효율적인 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법이 DG 문제 맥락에서 희망적인 성과를 보여주고 있다. 그러나 기존의 PEFT 방법들은 사전 훈련된 모델의 일반화 가능한 구성 요소를 유지하는 것과 작업에 특화된 특징을 학습하는 것 사이의 균형을 맞추는 데 여전히 어려움을 겪고 있다. 일반화 가능한 구성 요소의 분포를 이해하기 위해, 우리는 단일 값 분해(Singular Value Decomposition, SVD)의 관점에서 사전 훈련된 가중치를 분석하기 시작한다. 이러한 통찰을 바탕으로, 잔여 부분은 고정한 채로 소수의 단일 값 성분만을 선택적으로 조정하는 Singular Value Decomposed Minor Components Adaptation(SoMA) 방법을 제안한다. SoMA는 사전 훈련된 모델의 일반화 능력을 효과적으로 유지하면서도 작업에 특화된 능력을 효율적으로 습득한다. 또한, 도메인 일반화 가능한 블록은 고정하고, 점진적 가중치 감소(annealing weight decay) 전략을 적용함으로써, 일반화 가능성과 구별 가능성 사이의 미묘한 균형을 최적화한다. SoMA는 도메인 일반화된 세그멘테이션에서부터 도메인 일반화된 객체 탐지에 이르기까지 다양한 벤치마크에서 최신 기준(SOTA) 성능을 달성한다. 더불어, 본 방법은 추론 시 추가적인 부담이나 정규화 손실을 도입하지 않으며, 어떤 백본(Backbone)이나 헤드(head)와도 호환되며, 다양한 작업에 쉽게 통합될 수 있도록 유연하게 설계되어 있다.