تحسين رصد أحداث كرة القدم باستخدام مسارات الصوت والفيديو معًا

في هذا البحث، نقترح دراسة حول رصد وتقييم الأنشطة متعددة الوسائط (الصوت والفيديو) في مقاطع الفيديو الخاصة بكرة القدم. تتكون مهام رصد وتقييم الأنشطة من تحديد النقاط الزمنية للأحداث في الفيديو وتحديد نوع الحدث. هذه هي تطبيق مهم لفهم الأنشطة العامة. هنا، نقترح دراسة تجريبية حول دمج معلومات الصوت والفيديو في مراحل مختلفة من هياكل الشبكات العصبية العميقة. استخدمنا مجموعة بيانات SoccerNet القياسية، والتي تحتوي على أحداث مشمولة بالتعليقات لـ 500 مباراة كرة قدم من الدوريات الخمس الكبرى في أوروبا. من خلال هذا العمل، قمنا بتقييم عدة طرق لدمج تيار الصوت في هياكل تعتمد فقط على الفيديو. لاحظنا تحسينًا متوسطًا مطلقًا بنسبة $7.43\%$ في مؤشر المعدل المتوسط للدقة (mAP) لمهمة تصنيف الأنشطة وتحسينًا بنسبة $4.19\%$ لمهمة رصد الأنشطة.