8일 전

일반화한 후 적응하기: 소스 무료 도메인 적응형 세분화

Jogendra Nath Kundu, Akshay Kulkarni, Amit Singh, Varun Jampani, R. Venkatesh Babu
일반화한 후 적응하기: 소스 무료 도메인 적응형 세분화
초록

비지도 도메인 적응(DA)은 의미 분할 분야에서 큰 관심을 받고 있다. 그러나 기존 대부분의 연구는 라벨이 부여된 소스 도메인과 레이블이 없는 타겟 도메인을 동시에 접근할 수 있다고 가정하고 있어, 소스 데이터 없이도 적응이 가능한 소스 프리(source-free) 환경에는 적합하지 않다. 본 연구에서는 이 문제를 해결하기 위해 도메인 적응 과제를 두 가지로 분할한다: a) 소스 데이터만을 이용한 도메인 일반화, 그리고 b) 소스 데이터 없이 타겟 도메인에 대한 적응. 첫 번째 과제를 위해 우리는 가상으로 확장된 다중 소스 데이터셋을 활용해 훈련되는 다중 헤드(multi-head) 프레임워크를 제안하며, 이에 대한 이론적 통찰을 제공하여 일반화 능력과 특화 능력 사이의 균형을 도모한다. 두 번째 과제에서는 다중 헤드 프레임워크를 활용해 신뢰할 수 있는 타겟 도메인의 편가치 레이블(pseudo-labels)을 추출하고, 이를 통해 자기 학습(self-training)을 수행한다. 더불어, 공간적 비정형성(spacial irregularities)을 억제하는 새로운 조건부 사전 강제(auto-encoder)를 도입하여 편가치 레이블의 품질을 향상시킨다. 표준 GTA5-to-Cityscapes 및 SYNTHIA-to-Cityscapes 벤치마크에서의 실험 결과, 기존의 비소스 프리(non-source-free) 기법들에 비해 본 연구가 우수한 성능을 보임을 입증하였다. 또한, 본 방법이 온라인 적응과의 호환성을 가지며, 순차적으로 변화하는 환경에서도 실제 적용이 가능함을 보였다.