3D行動認識に向けた木構造と参照関節を用いたスケルトン画像表現

近年、コンピュータビジョン分野の研究コミュニティは、3次元人体行動認識に向けた動的時間的特徴のモデリング方法について多数の研究を進めてきた。このような目的のため、主に2つの基本的手法が検討されてきた。その1つは、長短期記憶（LSTM）を備えた再帰型ニューラルネットワーク（RNN）であり、もう1つは、畳み込みニューラルネットワーク（CNN）の入力として用いる骨格画像表現である。RNNアプローチは優れた性能を示すものの、骨格関節間の空間的関係を効率的に学習する能力に欠けるという課題がある。一方、CNNに供給される骨格画像表現は、2次元配列から構造的情報を自然に学習できるという利点を持つ（すなわち、骨格関節間の空間的関係を学習可能である）。このような表現のさらなる向上を目指し、本研究では、CNNの入力として使用可能な新しい骨格画像表現「ツリー構造基準関節画像（Tree Structure Reference Joints Image: TSRJI）」を提案する。本手法の特徴は、基準関節の利用と骨格のツリー構造の両方を組み合わせることにある。基準関節の導入により、関節間の多様な空間的関係を表現可能となり、ツリー構造の採用により、深さ優先探索アルゴリズムを用いて骨格の重要な空間的構造を保持できる。実験の結果、2つのデータセットにおいて、提案手法が3次元行動認識において有効であることを示し、最新のNTU RGB+D~120データセットにおいて、最先端の性能を達成した。