骨格ベースのジェスチャー認識を 위한時系列デカップリンググラフ畳み込みネットワーク

スケルトンベースのジェスチャー認識手法は、グラフ畳み込みネットワーク（GCN）を用いて高い成果を上げており、一般的にスケルトンの空間的トポロジーをモデル化するために隣接行列（adjacency matrix）が使用されている。しかし、従来の手法では、異なるフレームからのスケルトンに対して同一の隣接行列を適用しているため、GCNが時間情報をモデル化する柔軟性が制限されていた。この問題を解決するために、本研究では時間分解型グラフ畳み込みネットワーク（Temporal Decoupling Graph Convolutional Network; TD-GCN）を提案する。本手法は、異なるフレームからのスケルトンに対してそれぞれ異なる隣接行列を適用する点が特徴である。提案するTD-GCNの各畳み込み層の主な手順は以下の通りである。まず、スケルトン関節から深層的な空間時間情報（spatiotemporal information）を抽出するために、高レベルな空間時間特徴をスケルトンデータから抽出する。次に、異なるチャネルおよびフレームに応じて、チャネル依存型および時間依存型の隣接行列を計算し、スケルトン関節間の空間時間的依存関係を捉える。最後に、隣接するスケルトン関節からのトポロジー情報を統合するため、チャネル依存型および時間依存型の隣接行列に基づいて、スケルトン関節の空間時間特徴を統合する。本研究において、時間依存型の隣接行列を用いてスケルトン関節からの時間に敏感なトポロジー学習を行うのは、知られている限りで初めての試みである。提案するTD-GCNは、GCNのモデリング能力を効果的に向上させ、SHREC'17 TrackおよびDHG-14/28といったジェスチャー認識データセットにおいて、最先端（state-of-the-art）の性能を達成した。本研究のコードは以下のURLから公開されている：https://github.com/liujf69/TD-GCN-Gesture