強力なバックボーンと強力な特徴の融合――Ego4D Moment Queries Challenge におけるActionFormer

本報告では、Ego4D Moment Queries Challenge 2022 への当チームの提出結果について記述する。本提出は、時系列行動定位（temporal action localization）の最先端モデルであるActionFormerをベースとし、SlowFast、Omnivore、EgoVLPの三つの強力な動画特徴量を統合したアプローチを採用している。この手法は、公開リーダーボードにおいて2位を獲得し、テストセットにおける平均mAPが21.76%に達した。これは公式ベースライン比でほぼ3倍の性能向上である。さらに、tIoU=0.5におけるRecall@1xは42.54%を達成し、1.41ポイントの絶対差でトップランカーを上回った。本研究のコードは、https://github.com/happyharrycn/actionformer_release にて公開されている。