강건한 다중 모달리티 다중 객체 추적

다중 센서 인식은 자율 주행 시스템의 신뢰성과 정확성을 보장하는 데 핵심적인 역할을 하며, 다중 객체 추적(Multi-Object Tracking, MOT)은 동적 객체의 시계열 움직임을 추적함으로써 이를 더욱 향상시킨다. 현재 대부분의 다중 센서 다중 객체 추적 접근 방식은 단일 입력 소스(예: 중심 카메라)에 과도하게 의존하여 신뢰성이 부족하거나, 다중 센서의 결과를 후처리 단계에서 융합함으로써 내재된 정보를 충분히 활용하지 못해 정확도가 부족한 문제가 있다. 본 연구에서는 각 모달리티(즉, 센서)가 독립적으로 역할을 수행하여 신뢰성을 유지할 수 있도록 하되, 동시에 새로운 다중 모달리티 융합 모듈을 통해 정확도를 추가로 향상시키는 일반적인 센서 무관형 다중 모달리티 MOT 프레임워크(mmMOT)를 설계하였다. 제안된 mmMOT는 엔드 투 엔드 방식으로 학습이 가능하며, 각 모달리티의 기저 특징 추출기와 다중 모달리티 간의 인접성 추정기 간의 공동 최적화를 가능하게 한다. 또한, 본 연구는 MOT의 데이터 연관 과정에서 포인트 클라우드의 심층 표현을 인코딩하는 데 있어 최초의 시도를 한다. 제안된 프레임워크의 유효성을 검증하기 위해 도전적인 KITTI 벤치마크에서 광범위한 실험을 수행하였으며, 최신 기술 수준(SOTA)의 성능을 기록하였다. 코드 및 모델은 https://github.com/ZwwWayne/mmMOT 에서 공개되어 있다.