2달 전

효율적인 도메인 일반화를 위한 공통-특이 저순위 분해

Vihari Piratla; Praneeth Netrapalli; Sunita Sarawagi
효율적인 도메인 일반화를 위한 공통-특이 저순위 분해
초록

도메인 일반화(Domain Generalization)는 훈련 중에 보지 못한 새로운 도메인으로 모델을 일반화시키는 작업을 의미합니다. 본 연구에서는 이러한 환경에서 공통 구성요소(새로운 도메인으로 일반화되는 부분)와 도메인 특이적 구성요소(훈련 도메인에 과적합되는 부분)를 동시에 학습하는 CSD(Common Specific Decomposition) 알고리즘을 제시합니다. 훈련 후 도메인 특이적 구성요소는 폐기되고 오직 공통 구성요소만 유지됩니다. 이 알고리즘은 매우 간단하며, 주어진 신경망 아키텍처의 최종 선형 분류 계층만 수정하는 것을 포함합니다. 우리는 기존 접근 방식을 이해하기 위한 원칙적인 분석을 제시하고, CSD의 식별 가능성을 증명하며, 저순위(low-rank)가 도메인 일반화에 미치는 영향을 연구합니다. 실험 결과, CSD는 도메인 지우기(domain erasure), 도메인 섭동 데이터 확장(domain perturbed data augmentation), 메타러닝(meta-learning) 등 기존의 최신 도메인 일반화 접근 방식과 비교하여 성능이 동등하거나 우수함을 보여줍니다. 또한, 도메인이 해석 가능한 회전된 MNIST(Rotated MNIST) 데이터셋에서 추가 진단을 수행한 결과, CSD가 공통 구성요소와 도메인 특이적 구성요소를 성공적으로 분리하여 더 나은 도메인 일반화를 이끌어낸다는 가설이 확인되었습니다.