더 큰 노름 더 전이 가능: 비지도 도메인 적응을 위한 적응형 특성 노름 접근법

도메인 적응은 학습자가 도메인 간 분포의 차이를 완화함으로써 새로운 환경으로 안전하게 일반화할 수 있도록 합니다. 그러나 이전 연구들은 타겟 작업에서 모델 성능이 급격히 저하되는 근본적인 원인을 효과적으로 밝혀내지 못했습니다. 본 논문에서는 실험을 통해 타겟 도메인의 특징 노름(feature norm)이 소스 도메인에 비해 훨씬 작기 때문에 타겟 도메인에서의 불규칙한 판별이 주로 발생한다는 것을 밝혔습니다. 이를 해결하기 위해, 우리는 새로운 파라미터 없는 적응형 특징 노름(Adaptive Feature Norm, AFN) 접근법을 제안합니다. 두 도메인의 특징 노름을 점진적으로 큰 범위의 값으로 조정하면 상당한 전송 이득(transfer gain)을 얻을 수 있으며, 이는 더 큰 노름을 가진 작업 특异性 특징들이 더 잘 전송됨을 시사합니다. 우리의 방법은 표준 도메인 적응과 부분적 도메인 적응을 더욱 강건하게 통합하며, 부정적인 전송 문제(negative transfer issue)에 대한 견고성을 높입니다. 복잡한 기술 없이 몇 줄의 코드만으로도, 우리의 방법은 타겟 작업의 성능을 크게 향상시키며, Office-Home 데이터셋에서는 11.5%, VisDA2017 데이터셋에서는 17.1%로 기존 최신 기술(state-of-the-art)보다 크게 우수한 결과를 보여주었습니다. 우리는 이러한 단순하면서도 효과적인 접근법이 향후 전송 학습 연구에 새로운 방향성을 제시할 것으로 기대합니다. 코드는 https://github.com/jihanyang/AFN에서 제공됩니다.