HyDRaの解放：ハイブリッド融合、深度の一貫性とレーダーを用いた統一3D認識

近年、低コストで視覚中心の3D認識システムが自動運転分野において著しい進歩を遂げ、高価なLiDAR（ライダー）ベースの手法との差を縮めています。完全に信頼できる代替手段となるための主要な課題は、堅牢な深度予測能力にあります。カメラベースのシステムは長距離検出や悪条件の照明や天候に対応するのに苦労しています。本研究では、多様な3D認識タスク向けに新しいカメラ-レーダー融合アーキテクチャであるHyDRa（ハイドラ）を導入します。密集BEV（Bird's Eye View：鳥瞰図）ベースのアーキテクチャの原理に基づいて、HyDRaは視点表現とBEV表現という2つの異なる表現空間で補完的なカメラとレーダー特徴量の強みを組み合わせるハイブリッド融合アプローチを提案します。当社のHeight Association Transformerモジュールは、視点表現における既存のレーダー特徴量を利用してより堅牢で正確な深度予測を生成します。BEVでは、Radar-weighted Depth Consistency（レーダー重み付け深度一貫性）によって初期の疎な表現を洗練します。HyDRaは公開されたnuScenesデータセット上で64.2 NDS (+1.8) および58.4 AMOTA (+1.5) の新しい最先端性能を達成しました。さらに、当社が新たに開発した意味的に豊かで空間的に正確なBEV特徴量は直接強力な占有表現に変換でき、Occ3Dベンチマークにおいてこれまでのすべてのカメラベース手法を3.7 mIoUも上回る優れた結果を示しました。コードとモデルはhttps://github.com/phi-wol/hydra から利用可能です。