要約
本稿では、複数視点動画入力を用いたリアルタイム多人物モーションキャプチャアルゴリズムを提案する。各視点における重度のオクルージョンを考慮すると、複数視点画像と複数時系列フレームを統合的に最適化する必要があるため、リアルタイム性の確保という本質的な課題が生じる。この課題に対処するため、本研究では、初めて各視点のパーシング、視点間マッチング、時系列トラッキングを統一的な最適化枠組みに統合した。具体的には、画像空間、視点、時間の3次元を等価かつ同時的に扱える4次元アソシエーショングラフを構築した。この4次元アソシエーショングラフを効率的に解くために、ヒューリスティック探索に基づく4次元リムバンドパーシングの手法を導入し、さらに「バンドルクリスカル法（bundle Kruskal’s algorithm）」を提案することで、リムバンドの組み立てを実現した。本手法により、5台のカメラを用いた5人規模のシーンにおいて30fpsのリアルタイムオンラインモーションキャプチャシステムを実現した。統一されたパーシング・マッチング・トラッキングの制約により、検出ノイズに強く、高品質なオンラインポーズ再構成を達成している。高レベルな外見情報（appearance information）を用いずに、既存の最先端手法を定量的に上回る性能を達成した。また、マーカーに基づくモーションキャプチャシステムと同期された複数視点動画データセットを公開し、科学的評価のための基盤を提供した。