単眼準密度3Dオブジェクトトラッキング

自律走行など多くの応用分野において、周囲の物体の将来位置を予測し、観測者の行動を計画するためには、信頼性と精度の高い3次元（3D）追跡フレームワークが不可欠である。本研究では、移動プラットフォーム上で取得された2D画像の連続シーケンスから、時間的に移動する物体を効果的に関連付け、その完全な3Dバウンディングボックス情報を推定するフレームワークを提案する。物体の関連付けは、外観特徴のみを用いて、さまざまな姿勢や視点にある物体を同定できる準密度的類似性学習（quasi-dense similarity learning）を活用する。初期の2D関連付けの後、3Dバウンディングボックスの奥行き順序ヒューリスティクスを用いて堅牢なインスタンス関連付けを行い、運動に基づく3D軌道予測により、遮蔽された車両の再識別を実現する。最終的に、LSTMベースの物体速度学習モジュールにより、長期的な軌道情報を統合し、より正確な運動外挿を実現する。提案するシミュレーションデータおよび実世界のベンチマーク（KITTI、nuScenes、Waymoデータセット）を用いた実験により、本追跡フレームワークが都市走行シナリオにおいて堅牢な物体関連付けと追跡を実現することが示された。特にWaymo Openベンチマークでは、3D追跡および3D検出チャレンジにおいて、カメラのみを用いた最初のベースラインを確立した。また、nuScenes 3D追跡ベンチマークにおいて、公開済みのすべての視覚ベース手法の中で最高の成果を達成した視覚のみの提出物と比較して、追跡精度がほぼ5倍向上するという顕著な改善を達成した。本研究のコード、データ、および学習済みモデルは、https://github.com/SysCV/qd-3dt にて公開されている。