إطلاق إمكانات CLIP لاكتشاف مقاطع الفيديو المميزة

النماذج متعددة الوسائط والنماذج اللغوية الكبيرة (LLMs) قد غيرت من مفهوم استخدام المعرفة في العالم المفتوح، مكشوفةً إمكانات جديدة في مجموعة متنوعة من المهام والتطبيقات. ومن بين هذه المجالات، استفاد مجال الفيديو بشكل كبير من قدراتها. في هذا البحث، نقدم طريقة HL-CLIP (Highlight-CLIP)، وهي طريقة مصممة للتفوق في مهمة كشف النقاط البارزة في الفيديو عن طريق الاستفادة من المعرفة المدربة مسبقًا التي تضمنها النماذج متعددة الوسائط. من خلال تحسين النموذج المُشفر متعدد الوسائط فقط مع تقنية التجميع البارزة التي ابتكرناها، تمكنا من تحقيق أفضل الأداء حتى الآن في مهمة كشف النقاط البارزة، وفقًا لمعيار QVHighlight Benchmark، حسب علم us.