2ヶ月前

GSNet: 幾何学的およびシーン認識に基づく車両の姿勢と形状の同時再構成

Ke, Lei ; Li, Shichao ; Sun, Yanan ; Tai, Yu-Wing ; Tang, Chi-Keung
GSNet: 幾何学的およびシーン認識に基づく車両の姿勢と形状の同時再構成
要約

私たちは、単一の都市街景から6自由度(6DoF)の姿勢と詳細な3D車両形状を同時推定する新しいエンドツーエンドフレームワーク、GSNet(Geometric and Scene-aware Network)を提案します。GSNetは独自の4方向特徴量抽出および融合スキーマを用いており、1回の順方向伝播で直接6DoFの姿勢と形状を回帰します。広範な実験により、私たちの多様な特徴量抽出および融合スキーマがモデル性能を大幅に向上させることを示しています。分割統治に基づく3D形状表現戦略により、GSNetは非常に詳細な3D車両形状(1352頂点と2700面)を再構成します。この高密度メッシュ表現は、幾何学的一貫性とシーンコンテクストを考えるきっかけとなり、新たな多目的損失関数を導入してネットワーク訓練を正則化することにインスピレーションを与えます。これにより、6D姿勢推定の精度が向上し、両タスクを同時に行う利点が確認されます。私たちは最大規模のマルチタスクベンチマークであるApolloCar3DでGSNetを評価し、定量的にも定性的にも最先端の性能を達成しました。プロジェクトページは https://lkeab.github.io/gsnet/ でご覧いただけます。