DETR الموجه بالبروز لاسترجاع اللحظات وكشف النقاط البارزة

الطرق الحالية لاسترجاع اللحظات في الفيديو وكشف النقاط المهمة غير قادرة على مواءمة الخصائص النصية والفيديو بكفاءة، مما يؤدي إلى أداء غير راضٍ واستخدام محدود في الإنتاج. لحل هذه المشكلة، نقترح هندسة جديدة تستفيد من النماذج الأساسية الحديثة المصممة لهذا النوع من المواءمة. بالاشتراك مع آلية الانتباه الموجه بالبروز (Saliency-Guided Cross Attention) وهندسة DETR الهجينة، يعزز نهجنا الأداء بشكل كبير في مهام استرجاع اللحظات وكشف النقاط المهمة. لتحقيق تحسين أفضل، طورنا مجموعة بيانات InterVid-MR ذات نطاق واسع وجودة عالية للتدريب الأولي. باستخدامها، تحقق هندستنا نتائجًا رائدة على مقاييس QVHighlights وCharades-STA وTACoS. يوفر النهج المقترح حلًّا فعالًا وقابلًا للتوسع لكل من السيناريوهات الصفرية (zero-shot) وتغليظ التدريب (fine-tuning) في مهام الفيديو واللغة.