개선된 테스트 시간 적응을 위한 도메인 일반화

도메인 일반화(DG)의 주요 과제는 훈련 데이터와 테스트 데이터 사이에 존재하는 분포 이동 문제를 처리하는 것입니다. 최근 연구들은 테스트 시간 훈련(TTT)이 학습된 모델을 테스트 데이터로 적응시키는 방법으로 이 문제 해결에 유망한 해법이 될 수 있음을 제안하고 있습니다. 일반적으로 TTT 전략은 두 가지 주요 요소에 따라 성능이 결정됩니다: 업데이트를 위한 적절한 보조 TTT 작업 선택과 테스트 단계에서 업데이트할 신뢰할 수 있는 매개변수 식별입니다. 기존 연구들과 우리의 실험 결과는 이 두 가지 요소가 적절히 고려되지 않으면 TTT가 학습된 모델을 개선하지 못하고 오히려 손상시킬 수 있음을 나타내고 있습니다. 본 연구에서는 이러한 두 가지 요소를 다루기 위해 개선된 테스트 시간 적응(ITTA) 방법을 제안합니다. 첫째, 보조 목표를 직관적으로 정의하는 대신, TTT 작업에 대한 학습 가능한 일관성 손실을 제안합니다. 이 손실 함수는 더 나은 TTT 작업과 주 예측 작업 간의 일치성을 위해 조정될 수 있는 학습 가능한 매개변수를 포함합니다. 둘째, 학습된 모델에 추가적인 적응 매개변수를 도입하며, 테스트 단계에서는 이 적응 매개변수만 업데이트하도록 제안합니다. 광범위한 실험을 통해 제안된 두 가지 전략이 학습된 모델에 유익함을 입증하였으며(그림 1 참조), ITTA는 여러 DG 벤치마크에서 현재 최신 방법론보다 우수한 성능을 달성할 수 있었습니다. 코드는 https://github.com/liangchen527/ITTA에서 확인 가능합니다.