ما في التدفق؟ استغلال مؤشرات الحركة الزمنية لاكتشاف حدود الأحداث بطريقة غير مراقبة

مهمة اكتشاف الحدود العامة للأحداث (GEBD) تهدف إلى التعرف على حدود عامة، خالية من التصنيف، التي تقسم الفيديو إلى أحداث ذات معنى. تشمل الأساليب الحالية عادةً نموذجًا عصبيًا مدربًا على كمية كبيرة من البيانات، مما يتطلب قدرة حوسبة ومساحة تخزينية كبيرة. نستكشف في هذا البحث سؤالين محوريين يتعلقان بـ GEBD: هل يمكن للخوارزميات غير المعلمة أن تتفوق على الطرق العصبية غير المراقبة؟ هل معلومات الحركة بمفردها كافية لتحقيق أداء عالي؟ يدفعنا هذا الاستفسار إلى استغلال الدلائل الحركية خوارزميًا لاكتشاف حدود الأحداث العامة في الفيديوهات. في هذه الدراسة، نقترح تقنية FlowGEBD، وهي طريقة غير معلمة وغير مراقبة لـ GEBD. يشمل نهجنا خوارزميتين تستفيدان من التدفق البصري: (i) تتبع البكسل و (ii) تطبيع التدفق. من خلال إجراء تجارب شاملة على مجموعتي البيانات الصعبتين Kinetics-GEBD و TAPOS، أثبتت نتائجنا أن FlowGEBD هي التقنية الرائدة حاليًا (SOTA) بين الطرق غير المراقبة. حققت تقنية FlowGEBD تفوقًا على النماذج العصبية في مجموعة بيانات Kinetics-GEBD بحصولها على درجة [email protected] قدرها 0.713 مع زيادة مطلقة بنسبة 31.7% مقارنة بالأساس غير المراقب، وحققت درجة F1 متوسطة قدرها 0.623 في مجموعة التحقق من صحة TAPOS.