時系列行動検出のためのプロポーザル関係ネットワーク

本技術報告では、ActivityNet Challenge 2021における時間的アクション検出タスクに対する我々の解決策を提示する。このタスクの目的は、長時間にわたる未編集動画（untrimmed videos）内から関心のあるアクションを位置特定し、識別することにある。このタスクの主な課題は、アクションの時間的持続期間が大きく変動すること、および対象となるアクションが無関係な背景アクティビティに埋もれていることにある。本研究の提案手法はBMNをベースとし、以下の3段階から構成される：1）SlowFast、CSN、ViViTを用いたアクション分類および特徴エンコーディング；2）候補領域（proposal）生成。我々は、提案されたProposal Relation Network（PRN）をBMNに統合することで、高品質な候補領域を生成可能にした。3）アクション検出。各候補領域に対して、対応する分類結果を割り当てることで検出結果を算出する。最終的に、異なる設定下での結果をアンサンブル処理し、テストセットにおいて44.7%の平均mAPを達成した。これは、ActivityNet 2020の優勝結果に対して1.9%の向上を達成した。