HyperAIHyperAI

Command Palette

Search for a command to run...

HiCM2^22: نموذج الذاكرة المضغوطة التراتبية لتدوين الفيديو الكثيف

Minkuk Kim¹, Hyeon Bae Kim¹, Jinyoung Moon², Jinwoo Choi¹*, Seong Tae Kim¹*

الملخص

مع زيادة الطلب على حلول التحديات الفيديو الحقيقية، ازدادت الاهتمامات بتأطير الفيديو الكثيف (DVC). يشمل تأطير الفيديو الكثيف إنشاء التسميات التوضيحية وتخصيص مواقعها بشكل آلي في مقاطع الفيديو غير المقصوصة. أشارت العديد من الدراسات إلى تحديات تأطير الفيديو الكثيف وقدمت طرقًا محسنة تستفيد من المعرفة السابقة، مثل التدريب المسبق والذاكرة الخارجية. في هذا البحث، نقترح نموذجًا يستخدم المعرفة السابقة للذاكرة المرتبة تراتبيًا والمكثفة التي تستلهم من هرم الذاكرة البشرية والإدراك. لتقليد استرجاع الذاكرة البشرية، نقوم ببناء ذاكرة مرتبة تراتبيًا ووحدة قراءة ذاكرة مرتبة تراتبيًا. نبني ذاكرة مكثفة ومرتبة تراتبيًا بكفاءة عالية باستخدام تقنيات التجميع للأحداث الذاكرية والملخص باستخدام النماذج اللغوية الكبيرة. تظهر التجارب المقارنة أن عملية استرجاع الذاكرة المرتبة تراتبيًا هذه تحسن أداء تأطير الفيديو الكثيف بتحقيق أفضل الأداء على مجموعتي البيانات YouCook2 و ViTT.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp