CRN: カメラ・レーダー・ネットワークによる高精度・堅牢・効率的な3D認識

自動運転には、3D物体検出、追跡、セグメンテーションを含む正確かつ高速な3D認識システムが必要です。最近の低コストカメラベースのアプローチは有望な結果を示していますが、悪条件の照明や天候に弱く、位置特定の誤差が大きいという問題があります。したがって、すべての環境で信頼性高く動作し、精密な長距離測定を提供する低コストレーダーとカメラを融合させる手法は有望ですが、まだ十分に研究されていません。本論文では、Camera Radar Net (CRN)と呼ばれる新しいカメラ・レーダー融合フレームワークを提案します。このフレームワークは、様々なタスクのために豊富な意味情報と空間的な精度を持つ鳥瞰図（BEV）特徴マップを生成します。画像における空間情報の不足を克服するために、疎だが正確なレーダーポイントを利用して透視図画像特徴をBEVに変換します。さらに、入力間の空間的なずれに対処するための多モーダルデフォームアテンションを使用してBEVでの画像とレーダー特徴マップを統合します。リアルタイム設定においてCRNは20 FPSで動作し、nuScenesデータセット上でLiDAR検出器と同等の性能を達成しており、100m設定では遠距離でより優れた性能を発揮します。また、オフライン設定においてCRNはnuScenesテストセットで62.4%のNDS（NuScenes Detection Score）、57.5%のmAP（mean Average Precision）を達成し、すべてのカメラおよびカメラ・レーダー3D物体検出器の中でトップランクとなっています。