الشبكات ذات التدفق المزدوج للتحديد الزمني للإجراءات الضعيف المُشرَّف مع آليات مُدركة للدلالة

تهدف التصنيف الزمني للإجراءات الضعيف المُعلَّم إلى اكتشاف حدود الإجراءات في مقاطع الفيديو غير المُقَصَّصة باستخدام فقط تسميات على مستوى الفيديو. تُركّز معظم الطرق الحالية على اكتشاف المناطق الزمنية الأكثر استجابة للتصنيف على مستوى الفيديو، لكنها تتجاهل الاتساق الدلالي بين الإطارات. في هذا البحث، نفترض أن القطع الصغيرة التي تمتلك تمثيلات مشابهة ينبغي اعتبارها تنتمي إلى نفس فئة إجراء، حتى في غياب إشارات تعلّم مراقبة لكل قطعة على حدة. لتحقيق ذلك، نصمم قاموسًا قابلاً للتعلّم، حيث تكون عناصره مركزات الفئات المقابلة لفئات الإجراءات المختلفة. ونُوجِّه تمثيلات القطع التي تم تحديدها على أنها تنتمي إلى نفس فئة إجراء إلى الاقتراب من نفس المركز الفئوي، مما يُرشد الشبكة لفهم الدلالة الخاصة بالإطارات ويُقلل من التصنيفات غير المنطقية. بالإضافة إلى ذلك، نقترح إطارًا ثنائي التدفق يدمج آلية الانتباه واستراتيجية التعلّم متعددة المثيلات، وذلك لاستخراج أدلة دقيقة وسمات بارزة على التوالي. وتكمل هذه العناصر بعضها البعض، ما يمكّن النموذج من تحسين الحدود الزمنية. وأخيرًا، تم التحقق من النموذج المطوّر على مجموعتي بيانات مفتوحة المصدر THUMOS-14 وActivityNet-1.3، حيث أظهرت التجارب والتحليلات الواسعة تقدّمًا ملحوظًا مقارنةً بالطرق الحالية.