توقّع الفيديو باستخدام استرجاع السياق الحركي الطويل الأمد من خلال التعلّم المتمحور حول محاذاة الذاكرة

تعالج عملنا المشكلات المتعلقة بالسياق الحركي الطويل الأمد في توقع الإطارات المستقبلية. ولتحقيق توقع دقيق للإطارات المستقبلية، من الضروري استيعاب نوع السياق الحركي الطويل الأمد (مثل المشي أو الجري) الذي ينتمي إليه الحركة المدخلة (مثل حركة الساقين). وتتمثل العقبات التي تنشأ عند التعامل مع السياق الحركي الطويل الأمد في: (أ) كيفية توقع السياق الحركي الطويل الأمد بشكل طبيعي يتوافق مع التسلسلات المدخلة ذات الديناميكية المحدودة، و(ب) كيفية توقع السياق الحركي الطويل الأمد ذي الأبعاد العالية (مثل الحركات المعقدة). ولحل هذه المشكلات، نقترح طريقة جديدة لتنبؤ الفيديو تعتمد على الوعي بالسياق الحركي. ولحل العقبة (أ)، نقدم ذاكرة للسياق الحركي الطويل الأمد (LMC-Memory) مع تعلم محاذاة الذاكرة. يُمكّن تعلم محاذاة الذاكرة من تخزين السياقات الحركية الطويلة الأمد في الذاكرة، وتوافقها مع التسلسلات التي تتميز بديناميكية محدودة. وبذلك، يمكن استرجاع السياق الطويل الأمد من التسلسل المدخل المحدود. علاوةً على ذلك، ولحل العقبة (ب)، نقترح تقسيم استفسار الذاكرة لتخزين السياقات الحركية المحلية (أي الديناميات ذات الأبعاد المنخفضة)، واسترجاع السياق المحلي المناسب لكل جزء محلي من المدخل بشكل منفصل. وهذا يعزز من فعالية محاذاة الذاكرة. تُظهر النتائج التجريبية أن الطريقة المقترحة تتفوق على الطرق الأخرى المعتمدة على الشبكات العصبية التكرارية (RNN) المعقدة، خاصة في الظروف طويلة الأمد. وتم التحقق من فعالية التصاميم المُقترحة للشبكة من خلال إجراء دراسات تحليلية (Ablation Studies) وتحليل خصائص الذاكرة. ويتوفر كود المصدر الخاص بهذه الدراسة.