شبكة ذات تدفقين فعّالة للكشف عن العنف باستخدام LSTM التبادلي المتفرّع

كشف العنف تلقائيًا من لقطات المراقبة يُعدّ فرعًا من فروع التعرف على النشاط، ويستحق اهتمامًا خاصًا نظرًا لتطبيقاته الواسعة في أنظمة المراقبة الأمنية بدون طيار، وتصفية مقاطع الفيديو على الإنترنت، إلخ. في هذه الدراسة، نقترح بنية عميقة ذات تدفقين فعّالة تعتمد على خوارزمية LSTM ذات تقوسات مفرزة (SepConvLSTM) وMobileNet المُدرّب مسبقًا، حيث يُستخدم التدفق الأول لإدخال إطارات مُقلّل من خلفياتها، بينما يعالج التدفق الثاني فرق الإطارات المجاورة. استخدمنا تقنيات بسيطة وسريعة للتحضير المسبق للمدخلات، تُبرز الأجسام المتحركة في الإطارات من خلال تقليل الخلفيات الثابتة، وتحفظ الحركة بين الإطارات. وبما أن الأفعال العنيفة تتميز غالبًا بالحركات الجسدية، فإن هذه المدخلات تساعد على إنتاج ميزات تمييزية. تم بناء SepConvLSTM بتعويض عملية التقوس في كل بوابة من بوابات ConvLSTM بعملية تقوس مفصّل ذات عمق (depthwise separable convolution)، مما يمكّن من إنتاج ميزات فضائية-زمنية قوية على المدى الطويل مع استخدام عدد أقل بكثير من المعاملات. جربنا ثلاث طرق للدمج لدمج خرائط الميزات الناتجة عن التدفقين. تم تقييم الطرق المقترحة على ثلاث مجموعات بيانات عامة قياسية. أظهر نموذجنا تفوقًا في الدقة على مجموعة بيانات RWF-2000 الأكبر وأكثر التحديات بنسبة تزيد عن 2%، مع الحفاظ على نتائج تُنافس أفضل النماذج الحالية على المجموعات الأصغر. تؤدي تجاربنا إلى استنتاج أن النماذج المقترحة تتفوق من حيث الكفاءة الحسابية والدقة في الكشف.