PADCLIP: 비지도 도메인 적응을 위한 CLIP에서의 적응형 편향 제거를 통한 가상 레이블링

전통적인 비지도 도메인 적응(UDA)은 레이블이 붙은 소스 도메인을 활용하여 레이블이 없는 타겟 도메인에서의 학습 과제를 해결한다. 그러나 소스 도메인과 타겟 도메인 간에 큰 도메인 갭이 존재할 경우, 이 과정은 더욱 어려워진다. 더 실용적인 설정은 대규모 사전 훈련 모델을 활용하여 도메인 갭을 메우는 것이다. 예를 들어, CLIP는 도메인 갭을 극복하는 데 있어 희망적인 제로샷 일반화 능력을 보여준다. 그러나 전통적인 미세조정(fine-tuning)을 통해 CLIP를 타겟 도메인에 특화적으로 조정한 후에는, CLIP가 치명적인 망각(catastrophic forgetting) 문제에 시달리게 되는데, 이는 새로운 도메인 지식이 사전 훈련된 지식을 빠르게 대체하면서 정확도가 절반으로 감소하는 현상이다. 이를 해결하기 위해 우리는 치명적인 망각을 측정하는 방법(Catastrophic Forgetting Measurement, CFM)을 제안하여 학습률을 조절함으로써 과도한 훈련을 방지하고, 치명적인 망각 문제를 완화한다. 또한 CLIP의 제로샷 예측을 활용해, 모멘텀과 CFM을 통한 인과 추론 조정을 통해 적응형 편향 제거(Adaptive Debiasing)를 구현한 의사라벨링 설정(Pseudo-labeling setting)인 PADCLIP을 제안한다. PADCLIP은 소스 및 타겟 도메인에 대해 추가적인 부담 없이 엔드투엔드(end-to-end) 훈련이 가능하며, 네 개의 공개 데이터셋에서 최고의 성능을 달성했으며, DomainNet에서 특히 두드러진 성능 향상(+18.5% 정확도 향상)을 기록했다.