MRFP: 시뮬레이션에서 실제로의 일반화 가능한 의미 분할 학습에 대한 다중 해상도 특징 섭동

깊은 신경망은 소스 도메인에서 의미론적 장면 이해 작업에 있어 뛰어난 성능을 보여주었지만, 훈련 과정에서 스타일 다양성이 부족하여 단일 소스 도메인 데이터만으로 미처 본 적 없는 대상 도메인의 성능을 향상시키는 것은 여전히 어려운 과제입니다. 실제 세계 데이터셋을 대규모로 스타일이 다양한 형태로 수집하는 것이 번거롭고 비용이 많이 드는 과정이므로, 시뮬레이션 데이터 생성은 이러한 문제를 해결하기 위한 실현 가능한 대안입니다. 그러나 시뮬레이션 데이터와 실제 세계 데이터 사이의 큰 도메인 특异性 불일치는 의미론적 분할에서 일반화에 큰 도전을 제기합니다.본 연구에서는 이 문제를 완화하기 위해 새로운 다중해상도 피쳐 변동(MRFP, Multi-Resolution Feature Perturbation) 기술을 제안합니다. 이 기술은 도메인 특유의 세부 피쳐를 무작위화하고, 거시적인 피쳐의 스타일을 변동시키는 것을 목표로 합니다. 다양한 도시 장면 분할 데이터셋에 대한 실험 결과는 스타일 정보뿐만 아니라 세부 피쳐 구성 요소의 변동이 의미론적 분할 모델에서 도메인 간 일관성을 유지하면서 견고한 피쳐 맵을 학습하는 데 매우 중요하다는 것을 명확히 보여줍니다. MRFP는 추가적인 학습 가능한 매개변수나 목적 함수 없이도 간단하고 계산적으로 효율적인 전송 가능한 모듈로서, 최신 깊은 신경망들이 시뮬레이션-실제 의미론적 분할에서 견고한 도메인 간 일관성 있는 피쳐를 학습하는 데 도움을 줍니다.