CAFuser: 주행 장면의 강건한 의미론적 인식을 위한 조건 인지 다중 모달 융합

다중 센서를 활용하는 것은 자율 주행에서 견고한 의미 인식을 위한 중요한 요소입니다. 각 센서 유형은 보완적인 장점과 단점이 있기 때문입니다. 그러나 기존의 센서 융합 방법들은 종종 모든 조건에서 센서들을 동일하게 취급하여 성능이 최적화되지 않는 경우가 많습니다. 이에 반해, 우리는 조건에 따라 적응하는 새로운 다중 모달 융합 접근법을 제안합니다. 이 방법은 운전 상황의 견고한 의미 인식을 위해 설계되었습니다. 우리의 방법, CAFuser는 RGB 카메라 입력을 사용하여 환경 조건을 분류하고, 이를 통해 생성된 조건 토큰(Condition Token)이 다양한 센서 모달들의 융합을 안내합니다. 또한, 우리는 다양한 센서 입력을 공유 잠재 공간으로 정렬하기 위한 모달 특화 피처 어댑터(modality-specific feature adapters)를 새롭게 도입하였습니다. 이는 단일 공유된 사전 학습 백본과 효율적으로 통합할 수 있게 합니다. 실제 조건에 따라 동적으로 센서 융합을 적응시키는 방식으로, 우리의 모델은 특히 악조건 시나리오에서 견고성과 정확도를 크게 향상시킵니다. CAFuser는 공개 MUSES 벤치마크에서 1위를 차지하며, 다중 모달 팬옵틱 세분화(multimodal panoptic)에서는 59.7 PQ, 의미 세분화(semantic segmentation)에서는 78.2 mIoU를 달성하였으며, DeLiVER에서도 새로운 최신 기술(state of the art)을 설정하였습니다. 소스 코드는 다음 링크에서 공개적으로 이용 가능합니다: https://github.com/timbroed/CAFuser.