استعادة السياق واسترجاع المعرفة: إطار عمل ثنائي التدفق جديد للكشف عن السلوك غير الطبيعي في الفيديو

تهدف الكشف عن الشذوذ في الفيديو إلى اكتشاف الأحداث التي لا تتماشى مع السلوك المتوقع داخل الفيديو. وتعتمد الطرق الشائعة بشكل رئيسي على الكشف عن الشذوذ من خلال إعادة بناء القطع القصيرة أو من خلال خطأ التنبؤ بالإطار التالي. ومع ذلك، فإن هذا الخطأ يعتمد بشكل كبير على السياق المحلي للقطعة الحالية، ويخلو من الفهم العميق للسلوك الطبيعي. ولحل هذه المشكلة، نقترح الكشف عن الأحداث الشاذة ليس فقط بناءً على السياق المحلي، ولكن أيضًا بناءً على التوافق بين الحدث المختبر والمعارف المتعلقة بالسلوك الطبيعي المستمدة من بيانات التدريب. وبشكل محدد، نقترح إطارًا ثنائي المسار جديدًا يعتمد على استعادة السياق واسترجاع المعرفة، حيث يمكن لمساري هذا الإطار التكامل والتعويض المتبادل. بالنسبة لمسار استعادة السياق، نقترح بنية U-Net الزمانية-المكانية التي تستفيد بشكل كامل من معلومات الحركة لتنبؤ بالإطار التالي. علاوةً على ذلك، نقترح آلية خطأ محلي أقصى لتقليل مشكلة الأخطاء الكبيرة في الاستعادة الناتجة عن الكائنات المعقدة في المقدمة. أما بالنسبة لمسار استرجاع المعرفة، فنقترح تحسينًا لتقنية التجزئة الحساسة للجوار القابلة للتعلم، والتي تُحسّن دوال التجزئة من خلال شبكة سياميز ووظيفة خسارة الفرق المتبادل. وتشتمل المعرفة المتعلقة بالسلوك الطبيعي على ترميزها وتخزينها في جداول تجزئة، ويُستخدم المسافة بين الحدث المختبر وتمثيل المعرفة للكشف عن احتمالية حدوث شذوذ. وأخيرًا، ندمج درجات الشذوذ الناتجة عن المسارين للكشف عن الشذوذ. وقد أظهرت التجارب الواسعة الفعالية والتكامل المتبادل بين المسارين، حيث حقق الإطار الثنائي المقترح أداءً متقدمًا على مستوى الحالة الحالية (state-of-the-art) على أربع مجموعات بيانات.