17일 전

텍스처 학습 도메인 랜덤화를 통한 도메인 일반화 세그멘테이션

Sunghwan Kim, Dae-hwan Kim, Hoseong Kim
텍스처 학습 도메인 랜덤화를 통한 도메인 일반화 세그멘테이션
초록

소스 도메인에서 학습된 딥 신경망(DNN) 기반의 의미 분할 모델은 종종 미관측된 타겟 도메인으로 일반화하는 데 어려움을 겪는다. 이는 도메인 갭 문제로 알려져 있으며, 텍스처는 이 도메인 갭의 주요 원인 중 하나로 작용한다. DNN은 텍스처 편향에 취약하기 때문에 도메인 전이에 취약하다. 기존의 도메인 일반화 의미 분할(DGSS) 방법들은 모델이 텍스처보다 형태(shape)를 우선시하도록 유도함으로써 도메인 갭 문제를 완화해왔다. 그러나 형태와 텍스처는 의미 분할에서 두 가지 중요한 보완적 특징이다. 본 논문은 DGSS에서 성능 향상을 위해 텍스처를 적극적으로 활용하는 것이 필수적이라고 주장한다. 구체적으로, 텍스처 학습을 효과적으로 강화하기 위한 두 가지 새로운 손실을 포함하는 새로운 프레임워크인 텍스처 학습 도메인 랜덤화(TLDR)를 제안한다. 첫째, ImageNet 사전 훈련 모델의 텍스처 특징을 활용하여 소스 도메인 텍스처에 과적합되는 것을 방지하는 텍스처 정규화 손실이며, 둘째, 무작위 스타일 이미지를 사용하여 자기지도 학습(self-supervised) 방식으로 다양한 텍스처 표현을 학습하는 텍스처 일반화 손실이다. 광범위한 실험 결과는 제안된 TLDR의 우수성을 입증한다. 예를 들어, ResNet-50 기반으로 GTA-to-Cityscapes 설정에서 TLDR는 46.5 mIoU를 달성하며, 기존 최고 성능 방법보다 1.9 mIoU 향상시켰다. 소스 코드는 https://github.com/ssssshwan/TLDR에서 제공된다.