الشبكة العصبية التلافيفية ذات نموذج القاعدة المتجانسة للـ LSTM في التعلم المكاني الزمني

يُعدّ التعلّم من البيانات المكانية الزمنية له تطبيقات متعددة، مثل تحليل سلوك الإنسان، وتتبع الأجسام، وضغط الفيديو، والمحاكاة الفيزيائية. ومع ذلك، لا تزال الطرق الحالية تُظهر أداءً ضعيفًا في المهام الصعبة المتعلقة بالفيديوهات، مثل التنبؤ على المدى الطويل. ويُعزى ذلك إلى أن هذه المهام تتطلب التعلّم من الارتباطات المكانية الزمنية الطويلة الأمد في تسلسل الفيديو. في هذا البحث، نقترح نموذجًا جديدًا من نوع LSTM التبادلي من الدرجة العالية، قادرًا على التعلّم بكفاءة من هذه الارتباطات، إلى جانب تمثيل موجز للتاريخ السابق. ويتم تحقيق ذلك من خلال وحدة جديدة من نوع "النظام التوافقي" (tensor train)، والتي تُجري التنبؤ من خلال دمج ميزات التبادل (convolutional features) عبر الزمن. ولضمان الجدوى من حيث المتطلبات الحسابية والذاكرة، نُقدّم تحليلًا جديدًا للنظام التوافقي التبادلي للنموذج من الدرجة العالية، حيث يقلّل هذا التحليل من تعقيد النموذج من خلال تقريب تسلسل من كernels التبادلية بشكل مشترك كتحليل توافقي من الرتبة المنخفضة (low-rank tensor-train factorization). وبنتيجة ذلك، يتفوّق نموذجنا على الطرق السابقة، مع استخدام عدد ضئيل جدًا من المعلمات، بما في ذلك النماذج الأساسية. وتحقيقًا لأداء متميز على مستوى الحد الأقصى في مجموعة واسعة من التطبيقات والبيانات، يشمل ذلك التنبؤ متعدد الخطوات على بيانات Moving-MNIST-2 وبيانات KTH للأنشطة، بالإضافة إلى التعرف المبكر على الأنشطة على مجموعة بيانات Something-Something V2.