vFusedSeg3D: 2024 웨이모 오픈 데이터셋 챌린지 세그멘테이션 부문 3위 솔루션

이 기술 보고서에서는 VisionRD 팀이 개발한 혁신적인 다중 모달 융합 시스템인 VFusedSeg3D를 소개한다. VFusedSeg3D는 카메라 데이터와 LiDAR 데이터를 융합하여 3D 인지 정확도를 크게 향상시키는 시스템이다. 이 시스템은 카메라 이미지가 제공하는 � богrich한 의미 정보(세밀한 세분화 정보)와 LiDAR의 정밀한 거리 측정 능력을 결합함으로써, 각각의 모달리티가 지닌 내재적 한계를 극복하고 보다 강력하고 포괄적인 환경 인식 능력을 구현한다. 특히, 다양한 단계에서 정보를 정교하게 정렬하고 융합하는 설계된 네트워크 아키텍처를 통해, LiDAR 포인트 클라우드에서 추출한 기하학적 특징과 카메라 이미지에서 얻은 의미적 특징을 혁신적인 특징 융합 기법으로 통합한다. 다중 모달 기술을 활용함으로써 성능이 크게 향상되었으며, 검증 세트에서 기존의 70.51%에서 72.46%로 기록된 최고 수준의 mIoU를 달성하였다. VFusedSeg3D는 3D 세그멘테이션 정확도의 새로운 기준을 설정하며, 정밀한 환경 인식이 요구되는 다양한 응용 분야에 이상적인 솔루션으로 부상하고 있다.