تجميع السياق الزمني للبحث في الفيديو باستخدام التعلم التمييزي

تركز البحوث الحالية في مجال استرجاع الفيديو القائم على المحتوى على تمثيل الفيديو على مستوى أعلى، يصف الاعتماديات الدلالية على المدى الطويل للحوادث ذات الصلة والأحداث، إلخ. ومع ذلك، فإن الطرق الحالية تُعالج غالبًا إطارات الفيديو كصور فردية أو مقاطع قصيرة، مما يجعل نمذجة الاعتماديات الدلالية على المدى الطويل أمرًا صعبًا. في هذه الورقة، نقترح إطارًا لتعلم تمثيل الفيديو يُسمى TCA (تجميع السياق الزمني لاسترجاع الفيديو)، الذي يدمج المعلومات الزمنية على المدى الطويل بين السمات على مستوى الإطار باستخدام آلية الانتباه الذاتي. ولتدريبه على مجموعات بيانات استرجاع الفيديو، نقترح طريقة تعلم تباينية مراقبة تقوم بتعدين تلقائي للعينات السلبية الصعبة، وتعتمد آلية مخزن الذاكرة لزيادة سعة العينات السلبية. أجرينا تجارب واسعة على مهام متعددة لاسترجاع الفيديو، مثل CC_WEB_VIDEO وFIVR-200K وEVVE. تُظهر الطريقة المقترحة ميزة أداء واضحة (~17% في mAP على FIVR-200K) مقارنة بالطرق الرائدة التي تعتمد على سمات على مستوى الفيديو، وتُحقق نتائج تنافسية مع وقت استرجاع أسرع بـ 22 مرة مقارنةً بالطرق التي تعتمد على سمات على مستوى الإطار.