要約
オンラインアクション検出は、近年ますます研究者の関心を集めています。現在の研究では、歴史的な依存関係をモデル化し、未来を予測することで、ビデオセグメント内のアクションの進化を捉え、検出精度を向上させることが目指されています。しかし、既存のパラダイムはカテゴリレベルでのモデリングを無視しており、効率性にも十分な注意が払われていません。カテゴリを考えると、その代表的なフレームは様々な特性を持つため、カテゴリレベルでのモデリングは時間的な依存関係のモデリングに補完的なガイダンスを提供することができます。本論文では、効果的な例示相談メカニズムを開発しました。このメカニズムはまずフレームと例示フレームとの類似度を測定し、次に類似度に基づく重み付けで例示特徴量を集約します。これは計算量が限られているため、類似度測定と特徴量集約の両方が効率的なメカニズムです。例示相談メカニズムに基づいて、過去のフレームを例示として扱うことで長期的な依存関係を捉えることができ、またカテゴリから選ばれた代表的なフレームを例示として扱うことでカテゴリレベルでのモデリングが実現できます。カテゴリレベルでのモデリングによる補完性により、当方法は軽量なアーキテクチャを使用しながらも3つのベンチマークで新しい高性能を達成しています。さらに、空間時間ネットワークを使用してビデオフレームを取り扱うことにより、当方法は有効性と効率性の良いバランスを取っています。コードは https://github.com/VividLe/Online-Action-Detection で公開されています。