EGO4D STAチャレンジにおける次のアクティブオブジェクトのためのガイデッドアテンション

本技術報告では、EGO4Dチャレンジの短期予測（Short-Term Anticipation: STA）課題に対するガイデッドアテンション機構を基にした解決策について説明します。この手法は、物体検出とビデオクリップから抽出された時空間特徴量を組み合わせ、動きと文脈情報を強化し、さらに物体中心情報と動き中心情報を解碼することで、エゴセントリックビデオにおけるSTAの問題に対処します。当該チャレンジにおいて、我々はStillFastモデルをベースにし、高速ネットワークにガイデッドアテンションを適用してモデルを構築しました。本モデルはバリデーションセットでより優れた性能を示し、またEGO4D短期物体相互作用予測チャレンジのテストセットにおいて最先端（State-of-the-Art: SOTA）の結果を達成しています。