アクター-コンテキスト-アクターリレーションネットワークによる空間時間的な行動局所化

ビデオから人物を特定し、その行動を認識することは、高レベルのビデオ理解に向けて挑戦的な課題である。最近では、エンティティ間の直接的な対象関係をモデル化することで進展が見られている。本論文では、一歩進めて、ペア間の直接的な関係だけでなく、複数の要素に基づいて形成される間接的な高次関係も考慮する。具体的には、アクター-コンテキスト-アクター関係（アクター同士がコンテキストとの相互作用を通じて形成される関係）を明示的にモデル化することを目指す。この目的達成のために、新規の高次関係推論演算子とアクター-コンテキスト特徴量バンクに基づいたアクター-コンテキスト-アクター関係ネットワーク（ACAR-Net）を設計した。AVAおよびUCF101-24データセットでの実験結果は、アクター-コンテキスト-アクター関係のモデル化による優位性を示しており、注意マップの可視化により、当該モデルが行動検出に寄与する関連する高次関係を見つける能力があることがさらに確認された。特に、当該手法はActivityNetチャレンジ2020年のAVA-Kinetics行動局所化タスクで首位となり、他のエントリーよりも大幅に性能を上回った（+6.71mAP）。学習コードとモデルはhttps://github.com/Siyu-C/ACAR-Net で公開予定である。