11일 전

비일관된 분류체계를 가진 도메인 간 의미 분할을 위한 VLM의 활용

Jeongkee Lim, Yusung Kim
비일관된 분류체계를 가진 도메인 간 의미 분할을 위한 VLM의 활용
초록

무 supervized 도메인 적응(UDA)에서 의미 분할의 도전 과제는 원천 도메인과 타겟 도메인 간의 도메인 전이(distribution shift)뿐 아니라, 도메인 간 클래스 계층 구조의 불일치에서 비롯된다. 기존의 UDA 연구는 원천 도메인과 타겟 도메인 간에 일관된 계층 구조를 전제로 하여, 타겟 도메인의 계층 구조를 인식하고 적응하는 능력이 제한되어 왔다. 본 논문은 시각-언어 모델(VLM)을 활용한 불일치 계층 구조 상황에서의 교차 도메인 의미 분할(CSI)이라는 새로운 접근법을 제안한다. 이 방법은 원천-타겟 도메인 간 클래스 불일치 상황에서도 도메인 적응적 의미 분할을 효과적으로 수행할 수 있다. CSI는 시각-언어 모델(VLM)이 지닌 의미 일반화 능력을 활용하여 기존 UDA 기법들과 상호 보완적인 시너지를 창출한다. 기존 UDA 기법을 통해 얻은 세그먼트 추론과 VLM 내부에 내장된 � rich한 의미 지식을 결합하여, 타겟 도메인의 새로운 클래스를 재라벨링한다. 이러한 접근은 타겟 도메인에 대한 진짜 레이블(ground truth)이 전혀 필요 없이 확장된 계층 구조에 효과적으로 적응할 수 있게 한다. 제안한 방법은 불일치 계층 구조 설정(예: 거시적에서 미시적 계층 구조로의 전환, 오픈 계층 구조) 하에서 다양한 벤치마크에서 효과성을 입증하였으며, 기존 최고 성능의 UDA 기법들과 통합할 경우 일관된 시너지 효과를 보였다. 구현 코드는 http://github.com/jkee58/CSI 에서 공개되어 있다.

비일관된 분류체계를 가진 도메인 간 의미 분할을 위한 VLM의 활용 | 최신 연구 논문 | HyperAI초신경