Command Palette
Search for a command to run...
إطلاق إمكانات CLIP لاكتشاف مقاطع الفيديو المميزة
إطلاق إمكانات CLIP لاكتشاف مقاطع الفيديو المميزة
Donghoon Han Seunghyeon Seo Eunhwan Park Seong-Uk Nam Nojun Kwak
الملخص
النماذج متعددة الوسائط والنماذج اللغوية الكبيرة (LLMs) قد غيرت من مفهوم استخدام المعرفة في العالم المفتوح، مكشوفةً إمكانات جديدة في مجموعة متنوعة من المهام والتطبيقات. ومن بين هذه المجالات، استفاد مجال الفيديو بشكل كبير من قدراتها. في هذا البحث، نقدم طريقة HL-CLIP (Highlight-CLIP)، وهي طريقة مصممة للتفوق في مهمة كشف النقاط البارزة في الفيديو عن طريق الاستفادة من المعرفة المدربة مسبقًا التي تضمنها النماذج متعددة الوسائط. من خلال تحسين النموذج المُشفر متعدد الوسائط فقط مع تقنية التجميع البارزة التي ابتكرناها، تمكنا من تحقيق أفضل الأداء حتى الآن في مهمة كشف النقاط البارزة، وفقًا لمعيار QVHighlight Benchmark، حسب علم us.