3D Dual-Fusion: 双領域双クエリカメラ-LiDAR融合による3D物体検出

カメラとLiDARセンサーのデータを融合することは、堅牢な3次元物体検出を達成するための重要な技術です。カメラ-LiDAR融合における主要な課題の一つは、座標とデータ分布において両センサー間の大きなドメインギャップを軽減することです。本論文では、このギャップを解消するために設計された新しいカメラ-LiDAR融合アーキテクチャ「3D Dual-Fusion」を提案します。提案手法は、カメラ視点と3次元ボクセル視点のドメイン間で特徴量を融合し、変形可能な注意機構を通じてそれらの相互作用をモデル化します。我々はトランスフォーマー融合エンコーダーを再設計し、2つのドメインからの情報を集約します。主な変更点は以下の2つです：1) 二重クエリベースの変形可能な注意機構を使用して二重ドメイン特徴量を対話的に融合し、2) 3次元局所自己注意機構を使用して双方向デコーディング前のボクセルドメインクエリを符号化します。実験評価の結果、提案したカメラ-LiDAR融合アーキテクチャはKITTIおよびnuScenesデータセットで競争力のある性能を達成し、いくつかの3次元物体検出ベンチマークカテゴリーで最先端の性能を示しました。