18일 전

다양한 도메인 통합 증류를 통한 도메인 일반화

{Suha Kwak, Sungyeon Kim, kyungmoon lee}
다양한 도메인 통합 증류를 통한 도메인 일반화
초록

도메인 일반화(Domain Generalization)는 여러 개의 소스 도메인을 활용하여 미지의 타겟 도메인에도 일반화 가능한 모델을 학습하는 작업이다. 기존 많은 방법들은 도메인 간 분포를 명시적으로 정렬하는 방식을 채택하고 있다. 그러나 타겟 도메인이 사전에 제공되지 않기 때문에 도메인 정렬을 위한 최적화 과정은 과적합(overfitting)의 위험이 있다. 이 문제를 해결하기 위해 본 논문은 자기-디스틸레이션(self-distillation)을 활용한 도메인 일반화 방법을 제안한다. 제안된 방법은 여러 도메인에서 의미 있는 오류 예측을 허용함으로써 도메인 분포 변화에 강건한 모델을 학습하는 것을 목표로 한다. 구체적으로, 동일한 클래스 레이블을 가진 데이터이지만 서로 다른 도메인에 속한 예측 분포들의 앙상블을 각각의 예측 분포와 일치시키는 방식을 적용한다. 또한, 일관된 예측을 유도하기 위해 이미지의 특징 맵을 표준화하는 '디스틸라이제이션(de-stylization)' 방법을 제안한다. 두 가지 벤치마크에서 수행한 이미지 분류 실험 결과, 제안된 방법은 단일 소스 및 다중 소스 설정 모두에서 성능이 크게 향상됨을 확인하였다. 또한, 사람 재식별(Person Re-Identification, ReID) 실험에서도 본 방법이 효과적으로 작동함을 보였다. 모든 실험에서 제안된 방법은 성능을 현저히 개선하는 것으로 나타났다.

다양한 도메인 통합 증류를 통한 도메인 일반화 | 최신 연구 논문 | HyperAI초신경