短期オブジェクト相互作用予測に分離されたオブジェクト検出を用いた手法 @ Ego4D 短期オブジェクト相互作用予測チャレンジ

短期の物体相互作用予測は、エゴセントリック動画解析において重要なタスクであり、将来の相互作用とそのタイミングの正確な予測だけでなく、関与する活動物体のカテゴリーと位置も含みます。このタスクの複雑さを軽減するために、我々が提案するSOIA-DOD（Short-term Object Interaction Anticipation - Detection and On-the-fly Decoding）方法は、1) 活動物体の検出と 2) 相互作用の分類およびタイミング予測に効果的に分解します。まず、事前に学習されたYOLOv9を微調整することで、エゴセントリック動画の最終フレームにおけるすべての潜在的な活動物体を検出します。次に、これらの潜在的な活動物体をクエリとして組み合わせてトランスフォーマーエンコーダーを使用し、最も有望な次の活動物体を特定し、その将来の相互作用と接触までの時間を予測します。実験結果は、我々の方法がチャレンジテストセットで最先端モデルを上回り、次の活動物体とその相互作用の予測において最良の性能を達成していることを示しています。最後に、接触までの時間予測も含めた場合、我々が提案する方法は全体的なトップ5 mAP（mean Average Precision）で3位となりました。ソースコードは https://github.com/KeenyJin/SOIA-DOD で公開されています。