초록
이전의 비지도 도메인 적응(UDA) 기법들은 일반적으로 도메인 불변 특징 추출기를 학습하는 데 초점을 맞추었으며, 이는 모델이 충분히 구분력 있는 특징을 학습하는 데 방해가 될 수 있다. 이를 해결하기 위해, 프롬프트 학습 기반의 연구들은 대규모 사전 훈련된 시각-언어 모델의 강력한 능력을 활용하여 도메인에 무관한(도메인-agnostic) 및 도메인에 특화된(도메인-specific) 학습 가능한 프롬프트를 통해 도메인 불변 특징과 도메인 특화 특징을 동시에 학습한다. 이러한 연구들은 일반적으로 표현 공간, 출력 공간 또는 프롬프트 공간에 불변 제약 조건을 적용하여 이러한 프롬프트를 학습한다. 반면, 본 연구에서는 각 도메인 손실에 의해 표현되는 다중 목적 최적화 문제로 UDA를 재정의한다. 이 새로운 프레임워크 하에서, 각 목적 간의 일치를 촉진하기 위해 개별 목적에 대한 기울기를 정렬하는 방식을 제안한다. 또한, 이러한 딥러닝 아키텍처를 미세 조정할 때 과적합이 발생할 수 있는 가능성을 방지하기 위해, 이러한 기울기의 노름을 정규화하는 페널티를 도입한다. 이러한 목표를 달성하기 위해, 단일 소스 및 다중 소스 UDA 모두에서 작동할 수 있는 실용적인 기울기 업데이트 절차를 제안한다. 실험적으로 제안한 방법은 다른 시각-언어 모델 적응 기법들보다 일관되게 우수한 성능을 보였다. 구현 코드는 다음 링크에서 확인할 수 있다: https://github.com/VietHoang1512/PGA.