ClusterFusion：自動運転車におけるレーダー・カメラ連携3次元物体検出のためのレーダー空間特徴の活用

ミリ波レーダーとカメラの相補的な特性を活かすことで、深層学習に基づくレーダー・カメラ3次元物体検出手法は、視認性が低い環境下でも信頼性の高い高精度な検出を実現できる。このため、自動運転車両のセンシングシステムにおいて、レーダーとカメラの組み合わせコストがLiDARよりも安価である点を考慮すると、これらの手法は特に優れた選択肢となる。近年のレーダー・カメラ手法では、一般的に特徴レベルの融合が行われており、その多くはレーダー点群を画像特徴と同一平面上に投影し、両モダリティから抽出された特徴を統合するアプローチを採用している。画像平面での融合は一般的に実装が簡単かつ高速であるが、レーダー点群を画像平面に投影することで点群の深度次元が圧縮され、情報損失が生じる可能性があり、点群の空間的特徴を効果的に抽出することが難しくなる。本研究では、点群をクラスタリングすることでレーダー点群の局所的な空間的特徴を活用し、そのクラスタ上で直接特徴抽出を行い、その後に特徴を画像平面に投影する「ClusterFusion」というアーキテクチャを提案した。この手法は、nuScenesデータセットのテストスライスにおいて、レーダー単眼カメラ系のすべての手法の中で最先端の性能を達成し、nuScenes検出スコア（NDS）で48.7％を記録した。また、点群クラスタにおける異なるレーダー特徴抽出戦略（手作業による設計戦略、学習ベースの戦略、および両者の組み合わせ）の性能を比較検証した結果、手作業による設計戦略が最も優れた性能を示した。本研究の主な目的は、レーダー点群クラスタから直接局所的な空間的特徴および点単位の特徴を抽出することで、画像平面におけるモダリティ間特徴融合を実現する、レーダー単眼カメラ3次元物体検出手法の可能性を探索することにある。