17日前

MITFAS:空中動画行動認識のための相互情報に基づく時系列特徴整合とサンプリング

Ruiqi Xian, Xijun Wang, Dinesh Manocha
MITFAS:空中動画行動認識のための相互情報に基づく時系列特徴整合とサンプリング
要約

無人航空機(UAV)映像における行動認識のための新規アプローチを提案する。本手法は、UAVの移動に伴う遮蔽(occlusion)および視点の変化に対処できるように設計されている。時間領域における人間の行動や運動に対応する領域を、相互情報量(mutual information)を用いて計算・整合させる。これにより、認識モデルは運動に関連する重要な特徴から学習することが可能となる。さらに、Joint Mutual Information(連合相互情報量)を活用した新しいフレームサンプリング法を提案し、UAV映像から最も情報量の高いフレームシーケンスを取得する。本手法はX3Dと統合し、複数のデータセット上で性能評価を行った。実験の結果、UAV-Human(Liら、2021)ではトップ1精度で現行最先端手法に対して18.9%の向上、Drone-Action(Pereraら、2019)では7.3%、NEC Drones(Choiら、2020)では7.16%の改善を達成した。