MMFN: 멀티 모달 융합 네트워크를 이용한 엔드 투 엔드 운전

인간이 다양한 감각기관을 사용하여 세상을 인식하는 사실에서 영감을 받아, 엔드투엔드 주행에서는 다른 모달리티를 가진 센서들을 배치하여 3D 장면의 전반적인 맥락을 얻습니다. 이전 연구에서는 카메라와 LiDAR 입력을 트랜스포머를 통해 융합하여 주행 성능을 향상시키는 데 초점을 맞추었습니다. 이러한 입력은 일반적으로 고급 지도 정보로 해석되어 내비게이션 작업을 지원합니다. 그러나 복잡한 지도 입력에서 유용한 정보를 추출하는 것은 중복된 정보가 에이전트를 오도하고 주행 성능에 부정적인 영향을 미칠 수 있어 어려움이 따릅니다. 우리는 벡터화된 고해상도(HD) 지도에서 효율적으로 특징을 추출하고 이를 엔드투엔드 주행 작업에 활용할 수 있는 새로운 접근 방안을 제안합니다. 또한, 다중 도로 규칙을 고려하여 모델 성능을 더욱 향상시키기 위해 새로운 전문가 시스템을 설계했습니다. 실험 결과, 제안된 두 개의 개선 사항 모두 우리의 에이전트가 다른 방법들보다 우수한 성능을 달성할 수 있음을 입증하였습니다.