11日前

時は証言する:時系列マルチビュー3Dオブジェクト検出のための新たな展望とベースライン

Jinhyung Park, Chenfeng Xu, Shijia Yang, Kurt Keutzer, Kris Kitani, Masayoshi Tomizuka, Wei Zhan
時は証言する:時系列マルチビュー3Dオブジェクト検出のための新たな展望とベースライン
要約

近年のカメラ単体による3D検出手法は複数の時刻ステップを活用しているが、使用する履歴が限られているため、時系列融合が物体認識の向上に与える効果は著しく制限されている。既存手法における多フレーム画像の融合が時系列ステレオマッチングの一例であることに着目し、性能の制約要因として、1) マッチング解像度の粗さと、2) 限られた履歴の使用によって生じる最適でない多視点設定の相互作用が存在することを明らかにした。理論的および実証的な分析により、最適な時系列間隔はピクセルや深度によって大きく異なることが示され、長期的な履歴にわたって多数の時刻ステップを融合する必要があることが明らかになった。本研究の考察を基に、長期間の画像観測からコストボリュームを生成する手法を提案する。これにより、粗いが効率的なマッチング解像度を、より最適な多視点マッチング設定によって補完する。さらに、長期的な粗いマッチングに用いる単眼深度予測に加え、短期的な細粒度マッチングを組み合わせることで、長期および短期の時系列融合が極めて相補的であることを確認した。高い効率性を維持しつつ、nuScenesデータセットにおいて新たなSOTA(最先端)性能を達成し、テストセットでは首位を獲得、バリデーションセットでは従来の最良手法に対してmAPで5.2%、NDSで3.7%の向上を達成した。コードは以下のリンクから公開される:$\href{https://github.com/Divadi/SOLOFusion}{here.}$

時は証言する:時系列マルチビュー3Dオブジェクト検出のための新たな展望とベースライン | 最新論文 | HyperAI超神経