اكتشاف الشذوذ في الفيديو من خلال التعلم الذاتي والتعلم متعدد المهام

اكتشاف الشذوذ في الفيديو هو مشكلة صعبة في رؤية الحاسوب. نظرًا لعدم وجود أحداث شاذة أثناء التدريب، يتطلب اكتشاف الشذوذ تصميم طرق تعلم دون إشراف كامل. في هذا البحث، نتناول اكتشاف الأحداث الشاذة في الفيديو من خلال التعلم الذاتي والتعلم متعدد المهام على مستوى الكائنات. أولاً، نستفيد من كاشف مُدرب مسبقًا لاكتشاف الكائنات. ثم، نقوم بتدريب شبكة عصبية تقنية للتجفيف الثلاثي الأبعاد لإنتاج معلومات خاصة بالشذوذ تميزية من خلال تعلم عدة مهام وظيفية: ثلاث مهام ذاتية الإشراف ومهمة واحدة تعتمد على تقنية تقطير المعرفة (knowledge distillation). المهام الذاتية الإشرافية هي: (i) تمييز الكائنات المتحركة للأمام/للخلف (سهم الزمن)، (ii) تمييز الكائنات في الإطارات المتتالية/المتباعدة (غير المنتظمة) (الحركة غير النظامية) و (iii) إعادة بناء المعلومات المرتبطة بالمظهر الخاص بالكائن. مهمة تقطير المعرفة تأخذ بعين الاعتبار كلًا من المعلومات التصنيفية والمعلومات الاكتشافية، مما ينتج فروق تنبؤ كبيرة بين النماذج المعلمة والنماذج الطالبة عند حدوث الشذوذ. حسب علمنا، نحن أول من يتناول اكتشاف الأحداث الشاذة في الفيديو كمشكلة تعلم متعدد المهام، حيث يتم دمج عدة مهام ذاتية الإشراف وتقطير المعرفة في هندسة واحدة. يتفوق نظامنا الخفيف الوزن على أفضل الطرق الحالية في ثلاثة مقاييس: Avenue وShanghaiTech وUCSD Ped2. بالإضافة إلى ذلك، قمنا بدراستنا الاستقصائية التي توضح أهمية دمج التعلم الذاتي والإشراف الخاص بالانتظام في إطار التعلم متعدد المهام.