Glimpse Clouds: 非構造化特徴点から的人間活動認識

私たちは、テスト時にポーズ情報に依存せず、内部的に明示的にポーズ情報を計算することもないRGBデータから人間の活動を認識する方法を提案します。代わりに、視覚的注意モジュールが各フレームで一瞥シーケンスを予測するように学習します。これらの一瞥は、分類された活動に関連するシーン内の興味点に対応しています。一瞥位置には空間的な一貫性が強制されず、これによりモジュールは各フレームで異なるポイントを探し、視覚的情報の精査プロセスをより効果的に最適化することができます。このような非構造化データの追跡と順次統合は課題であり、これを解決するために、一瞥のセットと再帰的な追跡/認識ワーカーのセットを分離しました。これらのワーカーは一瞥を受け取り、その後の動作追跡と活動予測を共同で行います。一瞥はソフトアサインメントによってワーカーに割り当てられ、外部メモリモジュールを使用して空間、時間、特徴空間での割り当ての一貫性を最適化します。ハードな決定は行われず、つまり各一瞥点はすべての既存のワーカーに割り当てられますが、その重要度は異なります。私たちの手法は、現在までに利用可能な最大の人間活動認識データセットであるNTU RGB+Dデータセットおよび较小規模の人間動作認識データセットNorthwestern-UCLA Multiview Action 3Dデータセットにおいて最先端の手法を上回っています。私たちのコードは公開されており、以下のURLからアクセスできます: https://github.com/fabienbaradel/glimpse_clouds。注：「Glimpse」（一瞥）という言葉は一般的な日本語ではあまり使用されないため、「視覚的情報の一断片」や「視覚的ヒント」といった表現も考えられます。ただし、「一瞥」を使用することで専門的なニュアンスが保たれるため、ここではそのまま使用しました。