要約
単眼3次元検出において、擬似LiDAR 3次元検出器は深度推定ネットワークを用いて深度認識能力を強化し、LiDARに基づく3次元検出アーキテクチャを活用することで顕著な進展を遂げている。また、先進的なステレオ3次元検出器は、3次元オブジェクトの正確な位置推定も可能である。ステレオビューの画像間生成においては、画像からLiDARデータへの生成と比べて、その性能ギャップははるかに小さい。この事実に触発され、本研究では、単眼画像から3次元オブジェクトを検出するための3つの新しい仮想ビュー生成手法——画像レベル生成、特徴レベル生成、および特徴クローン——を含む「擬似ステレオ3次元検出フレームワーク」を提案する。深度意識学習に関する分析の結果、深度損失は特徴レベルの仮想ビュー生成においてのみ有効であり、推定された深度マップは画像レベルおよび特徴レベルの両方で有効であることが明らかになった。さらに、深度差分特徴マップから動的カーネルをサンプリングし、動的畳み込みを用いて単眼画像からの特徴を適応的にフィルタリングする「差分ごとの動的畳み込み」を提案した。これにより、深度推定誤差によって引き起こされる特徴劣化を緩和できる。本研究の成果は、2021年11月18日時点において、KITTI-3Dベンチマークで論文発表済みの単眼3次元検出器の中で、自動車、歩行者、自転車の各カテゴリで1位を獲得している。コードは、https://github.com/revisitq/Pseudo-Stereo-3D にて公開されている。