HRFuser: 2차원 객체 탐지를 위한 다중 해상도 센서 융합 아키텍처

표준 카메라 외에도 자율주행 차량은 일반적으로 라이다와 레이다와 같은 여러 추가 센서를 포함하며, 이는 주행 환경의 내용을 인지하는 데 더 풍부한 정보를 확보하는 데 기여한다. 최근 몇몇 연구들은 카메라와 라이다 또는 레이다와 같은 특정 센서 쌍을 아키텍처적 구성 요소를 활용해 융합하는 데 초점을 맞추고 있으나, 문헌에는 일반적이고 모듈화된 센서 융합 아키텍처가 아직 부족한 실정이다. 본 연구에서는 다중 모달 2차원 객체 탐지를 위한 모듈형 아키텍처인 HRFuser를 제안한다. HRFuser는 다중 해상도 방식으로 여러 센서를 융합하며, 입력 모달의 수에 관계없이 확장 가능한 구조를 갖는다. HRFuser의 설계는 이미지 기반 밀집 예측에 최신 기술을 적용한 고해상도 네트워크에 기반하며, 다중 해상도에서 다중 모달 데이터를 융합하기 위한 새로운 다중 윈도우 크로스 어텐션 블록을 도입하였다. nuScenes 및 악조건 데이터셋 DENSE에서 실시한 광범위한 실험을 통해, 본 모델이 추가 모달로부터 상호보완적인 특징을 효과적으로 활용함을 입증하였으며, 카메라 단일 모달 기반 성능을 크게 향상시키고, 2차원 객체 탐지 지표에서 평가된 최신 3차원 및 2차원 융합 방법들을 일관되게 능가함을 보였다. 관련 소스 코드는 공개되어 있다.