소스 프리 도메인 적응을 위한 MLLM 가이드 신뢰도 기반 커리큘럼 학습

Source-Free Domain Adaptation (SFDA)는 사전 훈련된 소스 모델을 타겟 도메인에 적응시키는 것을 목표로 하며, 타겟 도메인의 레이블이 없는 데이터만을 사용한다. 현재의 SFDA 기법들은 사전 훈련된 지식을 효과적으로 활용하거나 타겟 도메인 데이터를 효율적으로 탐색하는 데 어려움을 겪고 있다. 다중모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)은 시각적 및 텍스트 정보를 이해하는 데 뛰어난 능력을 지니고 있으나, SFDA에 적용할 경우 지시어 수행 실패, 높은 계산 자원 요구, 적응 전 성능 측정의 어려움 등의 문제에 직면한다. 이러한 문제를 완화하기 위해 우리는 신뢰도 기반 커리큘럼 학습(Reliability-based Curriculum Learning, RCL)이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 SFDA 환경에서 가상 레이블링을 통해 다수의 MLLM을 통합하여 지식을 활용하는 방식을 채택한다. RCL은 신뢰성 있는 지식 전이, 자기 수정 및 MLLM 유도 지식 확장, 다중 핫 마스킹 정밀화라는 세 가지 핵심 기법을 통해 타겟 도메인의 레이블 없는 데이터를 점진적으로 활용한다. 제안한 RCL은 여러 SFDA 벤치마크에서 최고 수준의 성능(SOTA)을 달성하였으며, 예를 들어 DomainNet에서는 +9.4%의 성능 향상을 기록하여, 소스 데이터에 접근하지 않고도 적응성과 견고성을 크게 향상시킬 수 있음을 입증하였다. 본 연구의 코드는 다음과 같은 링크에서 공개되어 있다: https://github.com/Dong-Jie-Chen/RCL.