HyperAIHyperAI

Command Palette

Search for a command to run...

TimeChat: نموذج لغوي كبير متعدد الوسائط حساس للزمن لفهم الفيديوهات الطويلة

Shuhuai Ren Linli Yao Shicheng Li Xu Sun Lu Hou

الملخص

يقترح هذا العمل نموذج TimeChat، وهو نموذج لغوي كبير متعدد الوسائط حساس للزمن ومصمم خصيصًا لفهم الفيديوهات الطويلة. يضم نموذجنا مساهمتين هيكليتين رئيسيتين: (1) مُشفر إطار يعتمد على زمن الظهور (timestamp-aware frame encoder) يقوم بربط المحتوى البصري بزمن ظهور كل إطار، و(2) قِدَام فيديو متحرك (sliding video Q-Former) ينتج سلسلة رموز فيديو بأطوال متغيرة لتلبية احتياجات الفيديوهات ذات المدد المختلفة. بالإضافة إلى ذلك، قمنا ببناء مجموعة بيانات للتوجيه التعليمات تشمل 6 مهام بإجمالي 125 ألف حالة، بهدف تعزيز أداء TimeChat في اتباع التعليمات. تظهر نتائج التجارب عبر مختلف مهام فهم الفيديو، مثل التسمية الكثيفة والترقيم الزمني واكتشاف النقاط الرئيسية، قدرات TimeChat القوية في التوطين الزمني الصفر (zero-shot temporal localization) والتفسير. على سبيل المثال، حقق +9.2 درجة F1 و+2.8 درجة CIDEr على YouCook2، و+5.8 HIT@1 على QVHighlights، و+27.5 R@1 (IoU=0.5) على Charades-STA، بالمقارنة مع أفضل النماذج اللغوية الكبيرة للفيديو الحالية، مما يشير إلى إمكانية استخدامه كمساعد فيديو متعدد الأغراض لمهام فهم الفيديوهات الطويلة وتلبية المتطلبات الواقعية للمستخدمين.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp