PointOdyssey：長期点追跡のための大規模合成データセット

PointOdysseyを紹介する。これは、長期にわたり高解像度の追跡アルゴリズムの学習および評価を目的とした大規模な合成データセットと、データ生成フレームワークである。本研究の目的は、自然主義的な運動を特徴とする長時間動画に注力することで、追跡技術の最先端を推進することにある。自然主義の実現に向けて、実世界のモーションキャプチャデータを用いて変形可能なキャラクターをアニメーション化し、モーションキャプチャ環境に一致する3Dシーンを構築した。また、実動画に対して構造から姿勢推定（structure-from-motion）を適用して抽出したカメラ軌道に基づき、リアルなカメラビューをレンダリングしている。キャラクターの外見、運動プロファイル、素材、照明、3Dアセット、大気効果などをランダムに変化させることで、組み合わせ的な多様性を実現している。現在のPointOdysseyデータセットには104本の動画が含まれており、平均2,000フレームの長さを持ち、従来の研究と比べて桁違いに多い対応アノテーションを提供している。我々は、既存の手法が本データセット上で新たに学習可能であり、公開されている変種よりも優れた性能を発揮することを示した。さらに、PIP（Point Image Pyramid）点追跡法に対する改良を提案し、時間的受容場域を大幅に拡大した。この改良により、PointOdysseyだけでなく、2つの実世界ベンチマークでも性能が向上した。本データセットおよびコードは、以下のURLにて公開されている：https://pointodyssey.com