17일 전

적응형 방법을 통한 집합 도메인 일반화

Xavier Thomas, Dhruv Mahajan, Alex Pentland, Abhimanyu Dubey
적응형 방법을 통한 집합 도메인 일반화
초록

도메인 일반화는 다양한 출처의 훈련 데이터 집합에서 분류기를 학습하여, 알려지지 않은 유사한 타겟 도메인에서 추출된 데이터에 대해 일반화할 수 있도록 하는 기술로, 대규모 학습 및 개인화된 추론에 응용된다. 많은 상황에서 개인정보 보호 문제로 인해 훈련 데이터 샘플에 대한 도메인 레이블을 확보할 수 없으며, 대신 훈련 포인트의 집계된 집합만 제공된다. 기존의 도메인 레이블을 활용하여 도메인 불변 특징 표현을 생성하는 방법들은 이러한 환경에서는 적용할 수 없으며, 대신 일반화 가능한 분류기를 학습할 수 있는 대안적 접근이 필요하다. 본 논문에서는 이러한 문제에 대해 도메인 적응형 접근을 제안한다. 이 접근은 두 단계로 구성된다: (a) 신중하게 선택한 특징 공간 내에서 훈련 데이터를 클러스터링하여 가상의 도메인(퍼지 도메인, pseudo-domains)을 생성하고, (b) 이러한 가상 도메인을 활용하여 입력과 그에 속한 가상 도메인 정보를 모두 고려해 예측을 수행하는 도메인 적응형 분류기를 학습한다. 제안하는 방법은 도메인 레이블을 전혀 사용하지 않음에도 불구하고, 다양한 도메인 일반화 벤치마크에서 최신 기술 수준의 성능을 달성한다. 더불어, 클러스터 정보를 활용한 도메인 일반화에 대해 새로운 이론적 보장을 제시한다. 본 방법은 앙상블 기반 기법과의 조합이 용이하며, 대규모 벤치마크 데이터셋에서도 상당한 성능 향상을 제공한다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/xavierohan/AdaClust_DomainBed

적응형 방법을 통한 집합 도메인 일반화 | 최신 연구 논문 | HyperAI초신경