HiCM$^2$: نموذج الذاكرة المضغوطة التراتبية لتدوين الفيديو الكثيف
مع زيادة الطلب على حلول التحديات الفيديو الحقيقية، ازدادت الاهتمامات بتأطير الفيديو الكثيف (DVC). يشمل تأطير الفيديو الكثيف إنشاء التسميات التوضيحية وتخصيص مواقعها بشكل آلي في مقاطع الفيديو غير المقصوصة. أشارت العديد من الدراسات إلى تحديات تأطير الفيديو الكثيف وقدمت طرقًا محسنة تستفيد من المعرفة السابقة، مثل التدريب المسبق والذاكرة الخارجية. في هذا البحث، نقترح نموذجًا يستخدم المعرفة السابقة للذاكرة المرتبة تراتبيًا والمكثفة التي تستلهم من هرم الذاكرة البشرية والإدراك. لتقليد استرجاع الذاكرة البشرية، نقوم ببناء ذاكرة مرتبة تراتبيًا ووحدة قراءة ذاكرة مرتبة تراتبيًا. نبني ذاكرة مكثفة ومرتبة تراتبيًا بكفاءة عالية باستخدام تقنيات التجميع للأحداث الذاكرية والملخص باستخدام النماذج اللغوية الكبيرة. تظهر التجارب المقارنة أن عملية استرجاع الذاكرة المرتبة تراتبيًا هذه تحسن أداء تأطير الفيديو الكثيف بتحقيق أفضل الأداء على مجموعتي البيانات YouCook2 و ViTT.