11日前

CoBEV:深度と高さの補完性を活用した道路沿い3Dオブジェクト検出の向上

Hao Shi, Chengshan Pang, Jiaming Zhang, Kailun Yang, Yuhao Wu, Huajian Ni, Yining Lin, Rainer Stiefelhagen, Kaiwei Wang
CoBEV:深度と高さの補完性を活用した道路沿い3Dオブジェクト検出の向上
要約

道路沿いカメラ駆動型3次元物体検出は、インテリジェント交通システムにおける重要な課題であり、視覚中心型車両の認識範囲の制限を超えて、道路の安全性を向上させる役割を果たす。従来の研究では、深度情報または高さ情報のいずれかのみを用いるという限界があったが、本研究では、深度と高さの両方が重要であり、実際には互いに補完的な関係にあることを明らかにした。深度特徴は正確な幾何学的ヒントを含む一方、高さ特徴は主に異なる高さ帯域のカテゴリを区別することに注力しており、本質的に意味的文脈を提供する。この知見をもとに、深度と高さを統合して堅牢なBEV(Bird's Eye View)表現を構築する、新たなエンドツーエンドモノクロラル3次元物体検出フレームワーク「Complementary-BEV(CoBEV)」を提案する。本手法は、各画素の深度および高さの分布を推定し、新しく提案する2段階型補完的特徴選択(CFS: Complementary Feature Selection)モジュールを用いてカメラ特徴を3次元空間にリフトし、横方向の特徴融合を行う。さらに、融合モードのCoBEV教師モデルが持つ事前知識を活かして検出精度を向上させるため、BEV特徴蒸留フレームワークをシームレスに統合している。本研究では、道路沿いカメラベースの公開ベンチマークであるDAIR-V2X-IおよびRope3D、および非公開のSupremind-Roadデータセットを用いて広範な実験を実施した。その結果、CoBEVは新たな最先端の精度を達成するだけでなく、長距離における困難なシナリオやノイズの多いカメラ干渉に対して、従来手法の堅牢性を顕著に向上させ、シーンやカメラパラメータが急激に変化する異種環境下でも、一般化性能を大幅に向上させることを示した。特に、DAIR-V2X-Iにおける「easy」モードにおいて、カメラモデルの車両APスコアが初めて80%に達した。本研究のソースコードは、https://github.com/MasterHow/CoBEV にて公開される予定である。

CoBEV:深度と高さの補完性を活用した道路沿い3Dオブジェクト検出の向上 | 最新論文 | HyperAI超神経