HGSFusion：3次元物体検出のためのハイブリッド生成と同期を用いたレーダー・カメラ統合

ミリ波レーダーは、悪天候や明るさに左右されない感知能力を備えるため、自動運転における3次元物体検出において重要な役割を果たしている。しかし、レーダー点群は顕著な疎らさと避けがたい角度推定誤差を抱えている。これらの制約を克服するため、カメラ情報を組み込むことで部分的にその欠点を緩和できる可能性がある。しかし、レーダーとカメラデータを直接融合すると、画像に深度情報が欠如していることや、悪条件の照明下における画像特徴の低品質さから、逆効果、あるいは相反する結果をもたらすことがある。そこで本論文では、レーダーの潜在能力と画像特徴をより効果的に統合するための、ハイブリッド生成と同期を備えたレーダー・カメラ融合ネットワーク（HGSFusion）を提案する。具体的には、レーダー信号処理における方向到来角（DOA）推定誤差を十分に考慮した、レーダー・ハイブリッド生成モジュール（RHGM）を提案する。このモジュールは、セマンティック情報を活用して、異なる確率密度関数（PDF）を用いてより高密度なレーダーポイントを生成する。一方で、空間的同期（spatial sync）とモダリティ同期（modality sync）を備えた二重同期モジュール（DSM）を導入し、レーダーの位置情報を画像特徴に反映させ、異なるモダリティ間の特徴を効果的に統合する。広範な実験により、本手法の有効性が実証され、VoDおよびTJ4DRadSetデータセットにおいて、RoI APとBEV APでそれぞれ6.53%および2.03%の優位性を達成し、最先端手法を上回った。コードは以下のURLから公開されている：https://github.com/garfield-cpp/HGSFusion。