EPMF: 3차원 세그멘테이션을 위한 효율적인 인지 인식 다중 센서 융합

3D 세분화를 위한 다중 센서 융합은 자율주행 및 로봇과 같은 다양한 응용 분야에서 장면 이해에 있어 중요한 과제입니다. 그러나 기존의 융합 기반 방법들은 두 모달 간의 큰 차이로 인해 만족스러운 성능을 달성하지 못할 수 있습니다. 본 연구에서는 RGB 이미지에서의 시각적 특징 정보와 라이다(point cloud)에서의 공간-깊이 정보를 효과적으로 활용하기 위해, 인지 인식 기반 다중 센서 융합(Perception-Aware Multi-Sensor Fusion, PMF)이라는 협업형 융합 방식을 제안합니다. 이를 위해 우리는 투영 변환을 통해 포인트 클라우드를 카메라 좌표계로 변환하고, RGB 이미지와 라이다 데이터를 모두 2차원 공간에서 처리함으로써 RGB 이미지의 정보 손실을 방지합니다. 이후, 두 모달 각각의 특징을 추출하기 위해 이중 스트림 네트워크를 설계하고, 효과적인 잔차 기반 융합 모듈을 통해 특징을 융합합니다. 더불어, 두 모달 간의 인지적 차이를 측정하기 위해 추가적인 인지 인식 기반 손실 함수를 도입합니다. 마지막으로, 투영 변환 하에서 데이터 사전 처리 및 네트워크 아키텍처를 최적화함으로써 보다 효율적이고 효과적인 개선된 버전인 EPMF(Enhanced PMF)를 제안합니다. 구체적으로, 교차 모달 정렬(cross-modal alignment)과 자르기(cropping) 기법을 도입하여 좁은 입력 영역을 확보하고 불필요한 계산 비용을 줄입니다. 또한, 투영 변환 하에서 더 효율적인 문맥 모듈을 탐색하고, 라이다 특징을 카메라 스트림에 융합함으로써 이중 스트림 네트워크의 성능을 향상시킵니다. 공개된 벤치마크 데이터셋에서 실시한 광범위한 실험 결과는 제안한 방법의 우수성을 입증합니다. 예를 들어, nuScenes 테스트 세트에서 EPMF는 최첨단 기법인 RangeFormer 대비 mIoU에서 0.9% 향상된 성능을 기록했습니다. 본 연구의 소스 코드는 https://github.com/ICEORY/PMF 에 공개되어 있습니다.