PMI Sampler：アーリアル行動認識におけるパッチ類似度を活用したフレーム選択

動画アクション認識における情報量の多いフレーム選択のための新しいアルゴリズムを提案する。本手法は、移動するカメラで撮影された空中動画を対象としており、人間のアクターが動画フレームにおいて小さな空間的解像度を占める状況を想定している。本アルゴリズムは、空中動画に内在する運動バイアスを活用し、運動的に顕著なフレームを選択可能とする。隣接フレーム間の運動バイアスを定量的に評価するため、パッチ相互情報量（Patch Mutual Information; PMI）スコアという新しい概念を導入した。このスコアは、パッチ間の類似度を測定することで、あるフレームが別のフレームに対して持つ識別的運動情報の量を評価する。さらに、シフトされたリークリLU（shifted leaky ReLU）と累積分布関数（cumulative distribution function）を用いた適応的フレーム選択戦略を提案し、高運動顕著性を持つすべての重要なセグメントを包括的にカバーするサンプリングを実現した。本手法は、任意のアクション認識モデルと統合可能であり、その認識精度を向上させる。実際の実験では、UAV-Humanデータセットにおいてトップ1精度が2.2～13.8%、NEC Droneデータセットで6.8%、Diving48データセットで9.0%の相対的な精度向上を達成した。