نموذج تمايز انتقالي متمايز متعدد الوسائط مُشَرَّط بحركة الهيكل العظمي للكشف عن السلوك غير الطبيعي في الفيديو

الانحرافات نادرة، ولذلك يُصاغ كشف الانحراف غالبًا كمهمة تصنيف فئة واحدة (OCC)، أي أن النموذج يُدرَّب فقط على البيانات الطبيعية. تُحدِّد التقنيات الرائدة لـ OCC تماسك التمثيلات الخفية للحركات الطبيعية ضمن نطاقات محدودة، وتعتبر أي شيء خارج هذا النطاق غير طبيعي، وهو ما يُفسِّر بشكل مرضٍ خاصية "الافتراض المفتوح" (openset) للانحرافات. ولكن حالة الطبيعة تتمتع بنفس الخصائص المفتوحة، إذ يمكن للإنسان تنفيذ نفس الحركة بطرق متعددة، وهو ما تتجاهله التقنيات الرائدة. نُقدِّم نموذجًا توليديًا جديدًا للكشف عن الانحرافات في الفيديو (VAD)، بافتراض أن كلاً من الطبيعة والانحرافات متعددة الأشكال (multimodal). نأخذ بعين الاعتبار التمثيلات العظمية (skeletal representations)، ونستفيد من نماذج التشتت الاحتمالية الحديثة (diffusion probabilistic models) لتوليد وضعيات مستقبلية متعددة الأشكال للإنسان. ونُسهم في تقديم شرط جديد يعتمد على الحركة السابقة للأشخاص، واستغلال قدرة عمليات التشتت المحسَّنة على تغطية أشكال متعددة لتقديم حركات مستقبلية مختلفة ولكن ممكنة. وباستخدام التجميع الإحصائي للأنماط المستقبلية، يتم اكتشاف الانحراف عندما لا تكون المجموعة المولَّدة من الحركات متناسبة مع المستقبل الفعلي. ونُحقِّق نموذجنا على أربع معايير مُثبتة: UBnormal، HR-UBnormal، HR-STC، وHR-Avenue، من خلال تجارب واسعة تفوق النتائج الحالية في المجال.