3D 세분화에서 도메인 적응을 위한 다중 모달 학습

도메인 적응은 레이블이 부족한 환경에서 학습을 가능하게 하는 중요한 과제이다. 대부분의 기존 연구는 이미지 모달리티에만 집중하지만, 중요한 다중 모달 데이터셋이 다수 존재한다. 이러한 다중 모달 데이터를 도메인 적응에 활용하기 위해, 우리는 상호 모방(mutual mimicking)을 통해 두 모달리티 간 예측의 일관성을 강제하는 교차 모달 학습(cross-modal learning)을 제안한다. 우리는 레이블이 부여된 데이터에 대해 정확한 예측을, 그리고 레이블이 없는 타겟 도메인 데이터에 대해서는 서로 다른 모달리티 간에 일관된 예측을 하도록 네트워크를 제약한다. 비지도 및 반지도 도메인 적응 설정에서 수행한 실험을 통해 이 새로운 도메인 적응 전략의 효과성을 입증하였다. 구체적으로, 2D 이미지, 3D 포인트 클라우드 또는 둘 다를 이용한 3D 세분화(semantic segmentation) 작업을 평가하였다. 최근의 자율주행 데이터셋을 활용하여 장면 구조, 조명, 센서 구성, 날씨 변화뿐만 아니라 합성 데이터에서 실제 데이터로의 전이(synthetic-to-real) 설정까지 다양한 도메인 적응 시나리오를 구성하였다. 제안하는 방법은 모든 적응 시나리오에서 기존의 단일 모달 적응 기준선보다 상당히 우수한 성능을 보였다. 본 연구의 코드는 공개되어 있으며, 다음의 링크에서 확인할 수 있다: https://github.com/valeoai/xmuda_journal