SF-Net: إشراف إطار واحد للتحديد الزمني للإجراءات

في هذه الورقة، ندرس شكلًا وسيطًا من أشكال التوجيه، ألا وهو التوجيه الإطاري الواحد، لتحديد الأفعال الزمنية (TAL). للحصول على التوجيه الإطاري الواحد، يُطلب من المُعلّقين تحديد إطار واحد فقط ضمن النافذة الزمنية للعملية. ويمكن أن يؤدي هذا إلى تقليل كبير في تكلفة العمل مقارنة بالتوظيف الكامل الذي يتطلب تحديد حدود العملية. مقارنةً بالتوظيف الضعيف الذي يُحدّد فقط التصنيف على مستوى الفيديو، فإن التوجيه الإطاري الواحد يُدخل إشارات زمنية إضافية للعملية مع الحفاظ على عبء التصنيف المنخفض. للاستفادة الكاملة من هذا النوع من التوجيه، نقترح نظامًا موحدًا يُسمى SF-Net. أولاً، نقترح توقع درجة "النشاط" (actionness score) لكل إطار في الفيديو. وبالإضافة إلى الدرجة الفئوية التقليدية، يمكن أن تقدم درجة النشاط معلومات شاملة حول حدوث عملية محتملة وتساعد في تحسين الحدود الزمنية أثناء الاستدلال. ثانيًا، نقوم باستخراج إطارات فعل افتراضية وإطارات خلفية افتراضية استنادًا إلى التصنيفات الإطارية الواحدة. نحدد إطارات الفعل الافتراضية من خلال توسيع كل إطار مُعلّم بشكل تكيفي إلى الإطارات المجاورة والمحفوفة بالسياق، ونستخرج إطارات الخلفية الافتراضية من جميع الإطارات غير المُعلّمة عبر عدة فيديوهات. وباستخدام هذه الإطارات المُعلّمة افتراضيًا إلى جانب الإطارات المُعلّمة الحقيقية، نستخدمها لتدريب المصنّف بشكل أكثر فعالية. في تجارب واسعة على مجموعات بيانات THUMOS14 وGTEA وBEOID، أظهر SF-Net تحسنًا ملحوظًا مقارنةً بأفضل الطرق المدعومة ضعيفًا من حيث دقة تحديد المقاطع ودقة تحديد الإطارات الفردية. وبشكل لافت، حقق SF-Net نتائج مماثلة لتلك التي تُحققها النماذج المدعومة بالكامل، رغم أن هذه النماذج تتطلب تكاليف تسمية أشد كلفة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/Flowerfan/SF-Net.