HyperAIHyperAI

Command Palette

Search for a command to run...

DSGN++: ステレオベースの3D検出器における視覚空間関係の活用

Yilun Chen, Student Member, IEEE, Shijia Huang, Student Member, IEEE, Shu Liu, Member, IEEE, Bei Yu, Member, IEEE, Jiaya Jia, Fellow, IEEE

概要

カメラをベースにした3D物体検出器は、LiDARセンサよりも広範な展開と低価格のため歓迎されています。本研究では、まず3D幾何学とセマンティクスを表現するためのステレオ体積構築方法について、既存のステレオ検出器DSGNを見直します。ステレオモデリングを改善し、2Dから3Dへのパイプライン全体での効果的な情報伝播を強化することを目指して、進化版のDSGN++を提案します。この提案は主に以下の3つの側面で改善を図ります。第一に、2D情報を効果的にステレオ体積へと昇華させるために、深度方向平面スイーピング(Depth-wise Plane Sweeping: DPS)という手法を提案します。この手法により、より密な接続が可能となり、深度ガイド特徴量が抽出されます。第二に、異なる間隔の特徴量を捉えるために、新しいステレオ体積であるデュアルビュー・ステレオ体積(Dual-view Stereo Volume: DSV)を提示します。この手法は前面視点と上面視点の特徴量を統合し、カメラフロンスタム内のサブボクセル深度を再構成します。第三に、前景領域が3D空間でより少ない存在感を持つようになったことを受け、マルチモーダルデータ編集戦略であるステレオ-LiDAR コピー・ペースト(Stereo-LiDAR Copy-Paste)を提案します。これによりクロスモーダルアライメントが確保され、データ効率が向上します。装飾的な要素なく、人気のあるKITTIベンチマーク上で様々なモーダリティ設定における広範な実験結果から、当方の手法はすべてのカテゴリにおいて他のカメラベースの3D検出器に対して一貫して優れた性能を示しています。コードはhttps://github.com/chenyilun95/DSGN2 で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています