نمذجة الاعتماديات المتعددة التصنيفات للإجراءات الزمنية لتحديد الموضع

تحتوي مقاطع الفيديو الواقعية على العديد من الإجراءات المعقدة التي تتميز بعلاقات متأصلة بين فئات الإجراءات. في هذه الدراسة، نقترح بنية قائمة على الانتباه تُعدّل هذه العلاقات بين الإجراءات لمهام تحديد الإجراءات الزمنية في مقاطع الفيديو غير المُختصرة. على عكس الدراسات السابقة التي تعتمد على التواجد المشترك على مستوى الفيديو بين الإجراءات، نميّز بين العلاقات بين الإجراءات التي تحدث في نفس اللحظة الزمنية، والإجراءات التي تحدث في لحظات زمنية مختلفة (أي تلك التي تسبق أو تلي بعضها). نُعرّف هذه العلاقات المختلفة باسم "الاعتماديات الإجرائية". ونقترح تحسين أداء تحديد الإجراءات من خلال تمثيل هذه الاعتماديات الإجرائية في طبقة جديدة قائمة على الانتباه تُسمى "طبقة الاعتماديات الإجرائية متعددة التسميات" (MLAD). تتكون طبقة MLAD من فرعين: فرع الاعتماديات المتزامنة وفرع الاعتماديات الزمنية، بهدف تمثيل الاعتماديات المتزامنة بين الإجراءات والاعتماديات الزمنية بينها على التوالي. لاحظنا أن المقاييس الحالية المستخدمة في التصنيف متعدد التسميات لا تقيس بشكل صريح مدى فعالية تمثيل الاعتماديات الإجرائية، لذلك نقترح مقاييس جديدة تأخذ بعين الاعتبار كل من الاعتماديات المتزامنة والاعتماديات الزمنية بين فئات الإجراءات. من خلال التقييم التجريبي والتحليل المعمق، نُظهر تحسّناً في الأداء مقارنة بالطرق الرائدة في مجال تحديد الإجراءات متعددة التسميات على مجموعتي بيانات معيار (MultiTHUMOS وCharades) من حيث مقياس f-mAP والمقاييس المقترحة.