3Dポーズおよびトラッキングの利点：人間の行動認識における応用

本研究では、行動認識においてトラッキングおよび3Dポーズを活用する利点を検討する。そのために、空間内の固定点ではなく、人体の運動軌跡全体を対象として行動を分析するラグランジュ的視点を採用する。このアプローチにより、人物のトラッケット（軌跡）を用いてその行動を予測することが可能となる。この考えに基づき、まず3Dポーズを用いた行動推定の利点を示し、人物間の相互作用の分析も行う。さらに、トラッケット上での3Dポーズと文脈化された外見特徴を融合するラグランジュ型行動認識モデルを提案する。本手法は、AVA v2.2データセットにおいて、ポーズのみを用いる設定および標準的なベンチマーク設定の両方で、最先端の性能を達成した。ポーズ情報のみを用いた場合、提案モデルは対応する最先端手法に対して+10.0 mAPの向上を達成した。一方、融合モデルは最良の最先端モデルに対して+2.8 mAPの改善を示した。コードおよび実験結果は以下のURLで公開されている：https://brjathu.github.io/LART