DCAN: تحسين الكشف عن الإجراءات الزمنية من خلال تجميع السياق المزدوج

يهدف الكشف عن الحركات الزمنية إلى تحديد حدود الحركات في الفيديو. تعتمد الطرق الحالية القائمة على مطابقة الحدود على توليد وحساب جميع المطابقات الممكنة للحدود لإنشاء اقتراحات. ومع ذلك، فإن هذه الطرق تتجاهل تجميع السياق على المدى الطويل في عملية توقع الحدود. وفي الوقت نفسه، نظرًا لتشابه الدلالة بين المطابقات المجاورة، فإن تجميع الدلالة المحلية للمطابقات المولدة بكثافة لا يمكنه تحسين ثراء الدلالة وتمييزها. في هذه الورقة، نقترح طريقة توليد اقتراحات من النهاية إلى النهاية تُسمى شبكة تجميع السياق المزدوج (DCAN) لجمع السياق على مستويين: مستوى الحدود ومستوى الاقتراحات، بهدف إنشاء اقتراحات عالية الجودة للحركات، مما يعزز أداء الكشف الزمني عن الحركات. بشكل خاص، نصمم تجميع السياق الزمني متعدد المسارات (MTCA) لتحقيق تجميع سياقي سلس على مستوى الحدود وتقييم دقيق للحدود. أما في ما يتعلق بتقييم المطابقة، فقد صممنا مطابقة خشنة إلى دقيقة (CFM) لتجميع السياق على مستوى الاقتراحات وتحسين خريطة المطابقة من الخشونة إلى الدقة. أجرينا تجارب واسعة على مجموعتي بيانات ActivityNet v1.3 وTHUMOS-14. حققت DCAN متوسط دقة التصنيف (mAP) قدره 35.39% على ActivityNet v1.3، وبلغت دقة التصنيف mAP 54.14% عند مستوى التداخل مع الحد الأدنى ([email protected]) على THUMOS-14، مما يدل على قدرة DCAN على إنشاء اقتراحات عالية الجودة وتحقيق أداءً من الطراز الأول. نحن نُصدر الكود على الرابط: https://github.com/cg1177/DCAN.