أين يلتقي الهيكل القوي مع الميزات القوية — ActionFormer لتحدي استفسارات اللحظة في Ego4D

يصف هذا التقرير مشاركتنا في مسابقة Ego4D Moment Queries Challenge 2022. تعتمد مشاركتنا على نموذج ActionFormer، وهو النموذج الرائد في مجال تحديد الأفعال الزمنية، إلى جانب ثلاث ميزات فيديو قوية مستمدة من نماذج SlowFast وOmnivore وEgoVLP. وحلّلنا في المرتبة الثانية على قائمة التصنيف العامة، بتحقيق متوسط دقة تصل إلى 21.76% (mAP) على مجموعة الاختبار، وهو ما يقارب الثلاث أضعاف مستوى الأداء الخاص بالنموذج الأساسي الرسمي. علاوة على ذلك، حققنا نسبة استرجاع قدرها 42.54% عند tIoU = 0.5 ونسبة 1x على مجموعة الاختبار، متفوّقين على الحل الأول بفارق كبير يبلغ 1.41 نقطة مئوية مطلقة. يُمكن الاطلاع على الكود الخاص بنا عبر الرابط التالي: https://github.com/happyharrycn/actionformer_release.