要約
RGB+Dカメラから抽出された3Dスケルトンデータを用いた、センサデータに基づく人間行動認識（HAR）は、空間的および時間的依存関係を適切に扱うことが課題となる時系列分類問題と見なすことができる。特に、行動に最も関連するデータ変動に注目することが重要である。本研究では、Kinectセンサによって取得された3Dスケルトンデータのスパティオテイムラル画像符号化を、行動に最も関与する関節に注目する「運動エネルギー」という概念を用いて改善することを提案する。この符号化手法により、行動の最も重要な部分に焦点を当てることで、オンライン行動の検出における識別性能を向上させることができる。本論文では、この新しい符号化手法と、符号化された3Dスケルトンデータを用いた深層学習モデルによるHARへの応用を提示する。具体的には、Kerasに提供されている複数の事前学習済みCNNの知識転移可能性を検討した。その結果、従来の最先端技術と比較して、学習精度が顕著に向上することが示された。