RGB-X 객체 검출을 위한 장면별 융합 모듈

다중 모드 딥 센서 융합은 자율 주행 차량이 모든 기상 조건에서 주변 환경을 시각적으로 이해할 수 있는 잠재력을 가지고 있습니다. 그러나 기존의 딥 센서 융합 방법들은 일반적으로 복잡한 구조와 혼합된 다중 모드 특성을 사용하여, 대규모의 공통 등록 다중 모드 데이터셋이 훈련에 필요합니다. 본 연구에서는 효율적이고 모듈화된 RGB-X 융합 네트워크를 제시합니다. 이 네트워크는 장면별 융합 모듈을 통해 사전 학습된 단일 모드 모델들을 활용하고 융합함으로써, 작은 규모의 공통 등록 다중 모드 데이터셋을 사용하여 공동 입력 적응형 네트워크 구조를 생성할 수 있게 합니다. 실험 결과, 우리의 방법은 RGB-열화상 및 RGB-게이티드 데이터셋에서 기존 연구들보다 우수한 성능을 보였으며, 추가적인 매개변수를 최소한으로 사용하여 융합을 수행하였습니다. 우리의 코드는 https://github.com/dsriaditya999/RGBXFusion에서 확인할 수 있습니다.