초록
라벨이 부여된 소스 데이터와 레이블이 없는 타겟 데이터로부터 학습하는 비지도 장면 적응 문제를 고려한다. 기존의 방법들은 주로 소스 도메인과 타겟 도메인 간의 도메인 간 차이를 최소화하는 데 초점을 맞추고 있다. 그러나 네트워크가 학습하는 도메인 내 지식과 내재된 불확실성에 대한 탐색은 여전히 부족한 실정이다. 본 논문에서는 도메인 내 지식을 활용하고 모델 학습을 정규화하기 위해, ‘메모리 정규화 인 바이오(Memory Regularization in Vivo)’라는 직교적 접근법을 제안한다. 구체적으로, 분할 모델 자체를 메모리 모듈로 간주하고, 주요 분류기와 보조 분류기 간의 차이를 최소화함으로써 예측 불일치를 줄이는 방식을 취한다. 추가적인 파라미터 없이도 기존의 대부분의 도메인 적응 방법과 보완적으로 작동하며, 기존 방법들의 성능을 일반적으로 향상시킬 수 있다. 간단한 구조임에도 불구하고, 우리는 메모리 정규화의 효과를 두 가지 합성 데이터에서 실제 데이터로의 벤치마크(가상-실제: GTA5 → Cityscapes 및 SYNTHIA → Cityscapes)에서 검증하였으며, 각각 기준 모델 대비 mIoU에서 +11.1%, +11.3%의 개선을 달성하였다. 또한, 도시 간 전이 벤치마크인 Cityscapes → Oxford RobotCar에서도 유사한 +12.0%의 mIoU 개선이 관찰되었다.