초록
최근의 3D 객체 감지 연구 대부분은 포인트 클라우드 데이터를 처리할 수 있는 신경망 아키텍처 설계에 초점을 맞추고 있습니다. 이러한 접근법들은 성능 향상을 보여주지만, 일반적으로 단일 모달리티에 기반하고 있어 다른 모달리티(예: 카메라)에서 얻을 수 있는 정보를 활용하지 못합니다. 몇몇 접근법들은 다양한 모달리티의 데이터를 융합하지만, 이 방법들은 모달리티들을 순차적으로 처리하는 복잡한 파이프라인을 사용하거나, 초기 단계에서 서로 다른 모달리티 간의 상호작용을 학습하지 못하는 후기 융합을 수행합니다. 본 연구에서는 VoxelNet 아키텍처를 활용하여 RGB와 포인트 클라우드 모달리티를 결합하는 두 가지 간단하면서도 효과적인 초기 융합 방법인 PointFusion과 VoxelFusion을 제시합니다. KITTI 데이터셋에서의 평가 결과, 포인트 클라우드 데이터만 사용하는 접근법들보다 성능이 크게 향상되었음을 확인할 수 있었습니다. 또한 제안된 방법은 단순한 단일 스테이지 네트워크를 사용함에도 불구하고 최신 다중모달 알고리즘들과 경쟁력 있는 결과를 제공하며, KITTI 벤치마크의 6개 항목 중 5개 항목에서 조류 시점 및 3D 감지 범주에서 상위 2위를 달성하였습니다.