マルチステージRGBベースの転移学習パイプラインによる手の活動認識

第一人称の手の活動認識は、特にデータが十分に入手できない場合に大きな課題となる。本論文では、限られたデータ量においても効果的な第一人称RGBベースの手の活動認識を実現するため、低コストなマルチステージ学習パイプラインを提案する。与えられたRGB画像の活動シーケンスに対して、第一段階では事前学習済みのニューラルネットワーク（NN）を用いて関心領域（ROI）を抽出する。第二段階では、事前学習済みの深層NNを用いて高レベルの空間特徴量を抽出する。第三段階では、時間的依存性を学習する。最後の段階では、前段階で学習した時間的依存性を統合するためのポストファージョン戦略を用いて、手の活動シーケンス分類器を学習する。実験は2つの実世界データセット上で実施され、提案するパイプラインが最先端の性能を達成していることが示された。さらに、限られたデータ量においても良好な結果を達成できることを確認した。