要約
本研究では、複数カメラ視点を用いて動的シーン内の任意の点を追跡する初めてのデータ駆動型マルチビュー3D点追跡手法を提案する。従来の単一カメラ追跡手法は深度の不確かさや遮蔽問題に悩まされる一方、既存のマルチカメラ手法は20台以上のカメラを必要とし、シーケンスごとの煩雑な最適化を要するという課題がある。一方、本手法は、実用的なカメラ数（例：4台）で十分な性能を発揮する前向き型モデルとして設計されており、リアルタイムで堅牢かつ高精度な追跡を可能にする。既知のカメラポーズに加え、センサ出力または推定されたマルチビュー深度を入力として、本追跡器は複数視点の特徴量を統合し、一貫した点群として表現する。さらに、k近傍相関とTransformerベースの更新機構を組み合わせることで、遮蔽状況下でも長距離の3D対応点を信頼性高く推定する。本手法は5,000件の合成マルチビューKubricシーケンスを用いて学習し、実世界のベンチマークであるPanoptic StudioおよびDexYCBで評価した結果、それぞれ中位軌道誤差が3.1 cmおよび2.0 cmを達成した。本手法は1～8視点の多様なカメラ配置、異なる視点、24～150フレームの異なる動画長に対しても良好な汎化性能を示す。本追跡器および学習・評価用データセットを公開することで、マルチビュー3D追跡研究の新たな基準を提示するとともに、実世界応用に向けた実用的なツールの提供を目指す。プロジェクトページは以下のURLで公開中：https://[URL]