كولار: الكشف الفعال والفعال عن الأنشطة عبر الإنترنت من خلال استشارة النماذج الأولية

لقد جذب اكتشاف الأنشطة عبر الإنترنت اهتمامًا بحثيًا متزايدًا في السنوات الأخيرة. تهدف الأعمال الحالية إلى نمذجة الارتباطات التاريخية وتوقع المستقبل لفهم تطور النشاط داخل قطعة فيديو وتحسين دقة الاكتشاف. ومع ذلك، فإن النموذج الحالي يتجاهل نمذجة المستوى الفئوي ولا يولي الاهتمام الكافي بالكفاءة. عند النظر إلى فئة معينة، فإن الإطارات الممثلة لها تظهر خصائص متنوعة. وبالتالي، يمكن أن توفر نمذجة المستوى الفئوي إرشادًا مكملًا لنمذجة الارتباطات الزمنية. في هذا البحث، تم تطوير آلية استشارية فعالة للنماذج الأولية التي تقوم أولاً بقياس التشابه بين الإطار والنماذج الأولية، ثم تجمع الخصائص النموذجية بناءً على أوزان التشابه. هذه الآلية أيضًا كفوءة، حيث تتطلب كل من قياس التشابه وجمع الخصائص حسابات محدودة. بناءً على آلية الاستشارة النموذجية، يمكن التقاط الارتباطات طويلة الأمد عن طريق اعتبار الإطارات التاريخية كنماذج أولية، بينما يمكن تحقيق نمذجة المستوى الفئوي عن طريق اعتبار الإطارات الممثلة لفئة معينة كنماذج أولية. بفضل التكامل الذي توفره نمذجة المستوى الفئوي، يستخدم بحثنا هندسة خفيفة الوزن ولكنه يحقق أداءً عاليًا جديدًا على ثلاثة مقاييس مرجعية. بالإضافة إلى ذلك، باستخدام شبكة زمانية مكانية للتعامل مع إطارات الفيديو، يجعل بحثنا توازنًا جيدًا بين الفعالية والكفاءة. يمكن الحصول على الرمز البرمجي من https://github.com/VividLe/Online-Action-Detection.