HGSFusion: 3차원 객체 탐지를 위한 하이브리드 생성 및 동기화 기반 레이더-카메라 융합

미리미터파 레이더는 기상 조건과 조도 조건에 관계없이 인지가 가능한 특성으로 자율주행 시스템에서 3차원 객체 탐지에 핵심적인 역할을 한다. 그러나 레이더 포인트 클라우드는 뚜렷한 희소성과 피할 수 없는 각도 추정 오류를 겪는다. 이러한 한계를 해결하기 위해 카메라를 통합하는 방법이 부분적으로 도움이 될 수 있으나, 이미지에는 깊이 정보가 부족하고 악조건의 조명 하에서 이미지 특징의 품질이 낮기 때문에 레이더와 카메라 데이터를 직접 융합할 경우 오히려 부정적인 결과 또는 역효과를 초래할 수 있다. 따라서 본 논문에서는 레이더의 잠재력을 더 효과적으로 활용하고 이미지 특징과의 융합을 개선하기 위해 하이브리드 생성 및 동기화(Hybrid Generation and Synchronization, HGSFusion) 기반의 레이더-카메라 융합 네트워크를 제안한다. 구체적으로, 레이더 신호 처리 과정에서 발생하는 도착 방향(Direction-Of-Arrival, DOA) 추정 오류를 철저히 고려한 레이더 하이브리드 생성 모듈(Radar Hybrid Generation Module, RHGM)을 제안한다. 이 모듈은 의미 정보를 활용하여 다양한 확률 밀도 함수(Probability Density Functions, PDFs)를 기반으로 더 밀도 높은 레이더 포인트를 생성한다. 한편, 공간적 동기화(spatial sync)와 모달리티 동기화(modality sync)를 포함하는 이중 동기화 모듈(Dual Sync Module, DSM)을 도입하여 레이더의 위치 정보를 이미지 특징에 보완함으로써 서로 다른 모달리티 간의 특성 융합을 촉진한다. 광범위한 실험 결과를 통해 제안된 방법의 효과성을 입증하였으며, VoD 및 TJ4DRadSet 데이터셋에서 각각 RoI AP 및 BEV AP 기준으로 최신 기술 대비 6.53%, 2.03%의 성능 향상을 달성하였다. 코드는 https://github.com/garfield-cpp/HGSFusion 에서 공개되어 있다.