マルチラベル行動依存関係のモデリングによる時系列行動局所化

現実世界の動画には、行動クラス間に内在する複雑な関係を持つ多数の行動が含まれており、時間的行動局所化（temporal action localization）のタスクにおいて、これらの関係を適切にモデル化することが重要である。本研究では、未トリミング動画における時間的行動局所化のタスクに対し、行動間の関係を注目（attention）に基づくアーキテクチャでモデル化する手法を提案する。従来の研究では、行動のビデオレベルでの同時発生（co-occurrence）に注目していたが、本研究では、同じ時刻に発生する行動間の関係と、時系列的に先行または後続する行動間の関係（すなわち、時系列的依存関係）を明確に区別する。これらの異なる関係を「行動依存性（action dependencies）」と定義し、新しい注目ベースのマルチラベル行動依存性（Multi-Label Action Dependency: MLAD）層を導入することで、行動依存性をモデル化することにより行動局所化の性能を向上させる。MLAD層は、同時発生依存性をモデル化する「同時発生依存性ブランチ」と、時系列依存性をモデル化する「時系列依存性ブランチ」の二つのブランチから構成される。さらに、既存のマルチラベル分類評価指標が行動依存性のモデル化の精度を明示的に評価していないことに着目し、行動クラス間の同時発生および時系列的依存性を考慮した新しい評価指標を提案する。実証的評価および広範な分析を通じて、MultiTHUMOSおよびCharadesというマルチラベル行動局所化ベンチマークにおいて、従来の最先端手法と比較してf-mAPおよび本研究で提案する新しい指標の両面で性能の向上を示した。