骨格に基づく最適化された動作認識のためのスパース化グラフ回帰

深度センサの普及に伴い、動的な人体骨格が行動認識の堅牢なモダリティとして注目を集めています。従来の手法では、RNNやCNNを用いて骨格をモデル化していましたが、不規則な骨格関節に対する表現力には限界がありました。グラフ畳み込みネットワーク（GCN）は、不規則なグラフ構造データに対処するために提案されましたが、基本的なグラフ構築は依然として困難です。本論文では、骨格を自然にグラフ上に表現し、その上でスケルトンベースの行動認識を行うためのグラフ回帰に基づくGCN（GR-GCN）を提案します。この手法はデータ内の空間・時間変動を捉えることを目的としています。グラフ表現がグラフ畳み込みにとって重要であるため、まず統計的に複数の観測から基礎となるグラフを学習するためのグラフ回帰を提案します。特に、連続フレーム間での骨格の空間・時間モデリングを行い、基礎となるグラフの疎さを強制する最適化問題を設定することで効率的な表現を実現します。最適化されたグラフは、同一フレーム内の各関節と近隣関節との強いまたは弱い接続だけでなく、前後のフレームに関連する関節ともリンクします。次に、最適化されたグラフとスケルトンシーケンスの座標情報を特徴学習のためにGCNに入力します。ここで高次のスペクトルグラフ畳み込みの高速なチェビシェフ近似を使用しています。さらに、チェビシェフ近似による変動特性の分析も提供します。実験結果は提案したグラフ回帰の有効性を確認しており、NTU RGB+D, UT-Kinect, SYSU 3Dなどの広く使用されているデータセットにおいて提案したGR-GCNが最先端の性能を達成していることを示しています。