動的な人間関節アフィニティを用いた動画における3Dポーズ推定

グラフ畳み込みネットワーク（GCN）は、動画における3次元人体ポーズ推定に成功裏に応用されてきた。しかし、従来のGCNは人間の骨格に従った固定された関節間の親和性（affinity）に基づいて構築されることが多く、これにより動画内の複雑な時空間的ポーズ変化に対応するための適応能力が制限されることがある。この問題を緩和するために、本研究では動的な人間関節親和性を自動的に同定し、動画から空間的・時系列的な関節関係を適応的に学習することで3次元ポーズを推定する新しい動的グラフネットワーク（DG-Net）を提案する。従来のグラフ畳み込みとは異なり、本手法では各動画サンプルごとに、関節間の空間的距離や時系列的運動の類似性に基づき、空間的・時系列的な人間関節親和性を発見するための動的空間/時系列グラフ畳み込み（DSG/DTG）を導入する。これにより、どの関節が空間的に近接しているか、あるいは運動が一貫しているかを効果的に把握でき、2次元ポーズから3次元ポーズに変換する際の奥行きの不確実性や運動の不確実性を低減することが可能となる。本研究では、Human3.6M、HumanEva-I、MPI-INF-3DHPの3つの代表的なベンチマークデータセット上で広範な実験を実施した結果、入力フレーム数およびモデルサイズが少ない状況下でも、近年の多数の最先端（SOTA）手法を上回る性能を達成した。