تحسين اقتراحات الإجراء الزمنية باستخدام السياق الهرمي

تهدف الاقتراحات الزمنية للعملية (TAP) إلى إنتاج مرشحات دقيقة لInstances العمل في مقاطع الفيديو غير المُقَصَّة. وقد تم إثبات أن السياقات تُعدّ أمرًا بالغ الأهمية لهذا المهمة. في هذه الورقة، نقترح شبكة سياقية هرمية جديدة (HCN) لاستكشاف أعمق للسياقات على مستوى القطعة (snippet-level) والاقتراح (proposal-level)، والتي تُستخدم على التوالي لتحسين تمثيل القطع والاقتراحات. أولاً، نُبرز أن مختلف المقاييس للسياقات على مستوى القطعة ليست متساوية الأهمية بالنسبة لجميع أنواع العمليات. وللإجابة على ذلك، نُدمج آلية تصفية مبتكرة ضمن هيكل U-Net لالتقاط سياقات على مستوى القطعة تتكيف مع المحتوى. ثانيًا، للاستفادة القصوى من السياقات على مستوى الاقتراح، نقترح نموذج انتباه ذاتي مخصص للمهام، يتميز بكفاءة عالية. وباستخدام تراكيب متعددة من نماذج الانتباه هذه، يمكننا استكشاف السياقات على مستوى الاقتراح بشكل عميق وواسع. وأخيرًا، لاستغلال كلا مستويَي السياق معًا، نزود HCN بثلاثة فروع لتقييم الاقتراحات من منظورات محلية إلى عالمية. أظهرت تجاربنا على مجموعتي بيانات ActivityNet-1.3 وTHUMOS14 أن HCN تتفوق بشكل ملحوظ على الطرق السابقة في TAP. علاوةً على ذلك، أظهرت تجارب إضافية أن طريقتنا تُمكن من تحسين أداء كشف العمليات المتطورة بشكل كبير عند دمجها مع تصنيفات العمليات الحالية.