2DPASS: LiDAR 포인트 클라우드에서 2D 사전 정보를 활용한 의미 분할

카메라와 LiDAR 센서가 자율 주행에 사용되는 보완적인 정보를 캡처함에 따라, 다중 모달 데이터 융합을 통해 의미 분할 알고리즘을 개발하기 위한 많은 노력이 이루어져 왔습니다. 그러나 융합 기반 접근 방식은 훈련 및 추론 단계에서 모두 엄격한 점-픽셀 매핑을 가진 LiDAR 포인트 클라우드와 카메라 이미지의 짝을 이루는 데이터를 입력으로 요구하여, 실제 시나리오에서의 적용을 크게 제약하고 있습니다. 따라서 본 연구에서는 2D 이미지의 풍부한 표현력을 충분히 활용하여 포인트 클라우드의 표현 학습을 강화하는 일반적인 훈련 방안인 2D 프라이어 어시스티드 의미 분할 (2DPASS)를 제안합니다. 실제로, 보조 모달 융합과 다중 스케일 융합-단일 지식 전달 (MSFSKD)를 활용함으로써, 2DPASS는 다중 모달 데이터로부터 더 풍부한 의미적 및 구조적 정보를 획득하며, 이를 순차적으로 순수 3D 네트워크로 전달합니다. 그 결과, 2DPASS를 탑재한 우리의 베이스라인이 포인트 클라우드 입력만으로도 상당한 개선을 보입니다. 특히,SemanticKITTI와 NuScenes 두 대규모 벤치마크에서 최고 수준의 성능을 달성하였으며, SemanticKITTI의 단일 스캔 및 다중 스캔 경쟁에서 모두 최상위 결과를 얻었습니다.