弱教師付き時空間行動局所化のための適応型相互監視

弱教師付き時系列行動局所化（Weakly-supervised temporal action localization）は、動画レベルの行動カテゴリラベルのみを用いて、トリムされていない動画内の行動を局所化することを目的とする。従来の多くの方針は、クラス活性化シーケンス（Class Activation Sequences: CAS）の不完全性という問題を無視しており、結果として意味のない局所化結果に陥っている。この問題を解決するため、本研究では2つのブランチから構成される適応的相互監督フレームワーク（Adaptive Mutual Supervision framework: AMS）を提案する。ベースブランチはCASを用いて最も識別的な行動領域を局所化する一方、補助ブランチは新たな適応的サンプラーを用いて、識別性が低い行動領域を局所化する。適応的サンプラーは、ベースブランチから得られるCASと負の相関を持つサンプリング重みシーケンスを動的に更新することで、補助ブランチがベースブランチによって過小評価された行動領域を重点的に局所化するよう促進する。さらに、両ブランチ間の相互強化を促進するために、相互局所化監督を構築する。各ブランチは、もう一方のブランチから生成された局所化疑似ラベルを監督信号として用いる。複数の反復において両ブランチを交互に最適化することで、行動領域を段階的に補完する。THUMOS14およびActivityNet1.2における広範な実験により、提案手法AMSが最先端手法を顕著に上回ることを示した。