COSMo: CLIP Talks on Open-Set Multi-Target Domain Adaptation COSMo: 오픈셋 다중 대상 도메인 적응에 대한 CLIP 논의

다중 대상 도메인 적응(Multi-Target Domain Adaptation, MTDA)은 단일 소스 도메인에서 도메인 간 변동에 영향을 받지 않는 정보를 학습하고 이를 여러 라벨이 없는 대상 도메인에 적용하는 것을 의미합니다. 그러나 기존의 MTDA 방법들은 주로 시각적 특성 내의 도메인 변동 문제에 초점을 맞추고 있어, 의미론적 특성을 간과하고 알려지지 않은 클래스를 처리하는데 어려움을 겪는 경우가 많습니다. 이는 오픈셋(Open-Set, OS) MTDA로 알려진 문제를 초래합니다. 대규모 비전-언어 기초 모델(Vision-Language Foundation Models)인 CLIP 등은 잠재력을 보여주고 있지만, 이들의 MTDA 활용 가능성은 아직 충분히 연구되지 않았습니다.본 논문에서는 COSMo라는 새로운 방법을 소개합니다. COSMo는 소스 도메인 지도 프롬프트 학습을 통해 도메인 독립적인 프롬프트를 학습하여 프롬프트 공간에서 MTDA 문제를 해결합니다. 도메인 특화 편향 네트워크와 알려진 클래스 및 알려지지 않은 클래스에 대한 별도의 프롬프트를 활용함으로써, COSMo는 효과적으로 도메인과 클래스 변동에 적응할 수 있습니다. 최선의 지식 범위 내에서, COSMo는 오픈셋 다중 대상 도메인 적응(Open-Set Multi-Target Domain Adaptation, OSMTDA) 문제를 처음으로 다루는 방법으로, 실제 세계 시나리오를 더 현실적으로 표현하며 오픈셋과 다중 대상 DA의 과제들을 해결합니다. COSMo는 Mini-DomainNet, Office-31, Office-Home 세 가지 어려운 데이터셋에서 다른 관련 DA 방법들과 비교해 평균 5.1%의 성능 개선을 보였습니다.코드는 다음 링크에서 확인 가능합니다: https://github.com/munish30monga/COSMo