人間の姿勢推定における空間文脈情報の利用

本研究では、人間の姿勢推定における空間的な文脈情報の重要性を探ります。最新の姿勢推定ネットワークは、多段階で訓練され、深層監督のために複数の補助予測を生成します。この原理に基づいて、概念的に単純でありながら計算効率が高く、潜在的な文脈情報を活用する2つのモジュール、すなわちカスケード予測融合（Cascade Prediction Fusion: CPF）とポーズグラフニューラルネットワーク（Pose Graph Neural Network: PGNN）を提案します。カスケード予測融合は、前の段階からの予測マップを蓄積して情報量豊富な信号を抽出します。得られたマップはまた、次の段階での予測を導くための事前情報としても機能します。関節間の空間相関を促進するために、PGNNは人間の姿勢をグラフとして構造化表現を学習します。異なる関節間での直接的なメッセージ伝達が可能となり、空間的な関係が捉えられます。これらの2つのモジュールは非常に少ない計算負荷しか必要としません。実験結果は、本手法がMPIIおよびLSPベンチマークにおいて従来の手法よりも一貫して優れていることを示しています。