الانتباه القائم على الذاكرة الزمنية للتصنيف الدلالي للفيديو

يتطلب التجزئة الدلالية للفيديو استغلال العلاقات الزمنية المعقدة بين الإطارات في تسلسل الفيديو. عادةً ما تستند الدراسات السابقة على تدفق بصري دقيق لاستغلال هذه العلاقات الزمنية، لكن هذا يُعاني من تكلفة حسابية عالية جدًا. في هذه الورقة، نقترح شبكة انتباه الذاكرة الزمنية (TMANet) التي تقوم بدمج العلاقات الزمنية الطويلة المدى على طول تسلسل الفيديو بشكل تكيفي، باستخدام آلية الانتباه الذاتي دون الحاجة إلى توقع تدفق بصري مفصل. بشكل خاص، نقوم ببناء ذاكرة باستخدام عدة إطارات سابقة لتخزين المعلومات الزمنية للإطار الحالي. ثم نقترح وحدة انتباه الذاكرة الزمنية لاستكشاف العلاقة بين الإطار الحالي والذاكرة، بهدف تعزيز تمثيل الإطار الحالي. تحقق طريقة عملنا أداءً جديدًا يُعدّ الأفضل في مجاله على نوعين من مجموعات بيانات التجزئة الدلالية للفيديو الصعبة، خاصةً بتحقيق دقة قدرها 80.3% في مقياس mIoU على مجموعة بيانات Cityscapes، و76.5% على مجموعة بيانات CamVid باستخدام نموذج ResNet-50.