AnyAnomaly: كشف التسربات في الفيديو قائم على التخصيص الصفري مع LVLM

كشف التسلسلات غير الطبيعية في الفيديو (VAD) يُعد أمرًا بالغ الأهمية لتحليل الفيديو والرصد في مجال رؤية الحاسوب. ومع ذلك، تعتمد النماذج الحالية لـ VAD على الأنماط الطبيعية المُدرَّبة مسبقًا، مما يجعلها صعبة التطبيق في البيئات المتنوعة. ونتيجة لذلك، يجب على المستخدمين إعادة تدريب النماذج أو تطوير نماذج ذكاء اصطناعي منفصلة لكل بيئة جديدة، وهو ما يتطلب خبرة في التعلم الآلي، وعتاد عالي الأداء، وجمع بيانات واسع النطاق، ما يحد من الجدوى العملية لتقنية VAD. لمعالجة هذه التحديات، تقدم هذه الدراسة تقنية كشف التسلسلات غير الطبيعية القابلة للتخصيص (C-VAD) والنموذج AnyAnomaly. يأخذ نموذج C-VAD تعريفات المستخدم النصية كأحداث غير طبيعية، ويُجري كشفًا للإطارات التي تحتوي على حدث محدد في الفيديو. وقد نُفذنا AnyAnomaly بشكل فعّال باستخدام إجابة مُستندة إلى السياق على أسئلة بصرية دون الحاجة إلى تدريب مُعدّل (fine-tuning) للنموذج البصري لغوي الكبير. ولتأكيد فعالية النموذج المقترح، قمنا ببناء مجموعات بيانات C-VAD وأظهرنا تفوق AnyAnomaly. علاوة على ذلك، أظهرت منهجيتنا أداءً تنافسيًا على مجموعات بيانات معيارية لـ VAD، حيث حققت نتائج متميزة على مجموعة بيانات UBnormal، وتفوّقت على الطرق الأخرى من حيث القدرة على التعميم عبر جميع المجموعات. يمكن الوصول إلى الشفرة المصدرية الخاصة بنا عبر الإنترنت على الرابط: github.com/SkiddieAhn/Paper-AnyAnomaly.