効率的なオンライン多人数2D姿勢追跡を実現する再帰的空間時間アフィニティフィールド

本稿では、動画シーケンスにおいて複数の人物の2D姿勢を効率的にかつ同時に検出および追跡するオンライン手法を提案します。静止画像向けに設計された部位親和場（Part Affinity Field: PAF）表現を基盤とし、動画シーケンス全体で空間時間的な親和場（Spatio-Temporal Affinity Fields: STAF）を符号化および予測できるアーキテクチャを提案します。特に、新しい時間的トポロジーが四肢間でクロスリンクされ、広範囲の身体運動を一貫して処理できるように設計されています。さらに、当手法は再帰的な性質を持ち、ネットワークが前のフレームからSTAFヒートマップを取り込み、現在のフレームでのヒートマップを推定します。当手法はオンライン推論と追跡のみを使用しており、シーン内の人数に関わらず実行時間が一定であり、カメラの入力フレームレートに関わらず精度が一定であるという特徴を持っています。単一GPUで単一スケールで約30fpsで動作し、PoseTrackベンチマークにおいて非常に競争力のある結果を達成しています。