الانتباه الذاتي ConvLSTM للتنبؤ الزماني المكاني

التنبؤ الفراغي-الزمني يُعدّ تحديًا بسبب الديناميكيات المعقدة في الحركة والتغيرات في المظهر. يركّز العمل الحالي على دمج خلايا إضافية في نموذج ConvLSTM القياسي لحفظ الصور الفراغية أثناء التنبؤ. غالبًا ما تعتمد هذه النماذج على طبقات التباعد (convolution layers) لالتقاط الاعتماد الفراغي، وهي طبقات محلية وغير فعّالة. ومع ذلك، فإن الاعتماد الفراغي على المدى الطويل يُعدّ أمرًا مهمًا جدًا في التطبيقات الفراغية. ولاستخلاص الميزات الفراغية التي تشمل الاعتماد على المدى الطويل والاعتماد المحلي معًا، نُدخل آلية الانتباه الذاتي (self-attention mechanism) إلى ConvLSTM. وبشكل خاص، نُقدّم ذاكرة انتباه ذاتي جديدة (SAM) لحفظ الميزات التي تتمتع باعتماد طويل المدى على المستويين الفراغي والزمني. وباستخدام آلية الانتباه الذاتي، يمكن لـ SAM إنتاج ميزات من خلال جمع الميزات من جميع المواقع في كل من المدخل نفسه ومحفظة الميزات، مع استخدام نقاط التشابه الزوجية. علاوةً على ذلك، يتم تحديث الذاكرة الإضافية عبر آلية تمرير (gating mechanism) على الميزات المجمعة، وعبر ممر ثابت (highway) مُنشأ يعتمد على معلومات الذاكرة من الخطوة الزمنية السابقة. وبالتالي، من خلال SAM، يمكننا استخلاص ميزات تمتلك اعتمادًا فراغيًا-زمنيًا على المدى الطويل. بالإضافة إلى ذلك، نُدمج SAM في نموذج ConvLSTM القياسي لبناء نموذج ConvLSTM مبني على الانتباه الذاتي (SA-ConvLSTM) للتنبؤ الفراغي-الزمني. وفي التجارب، تم تطبيق SA-ConvLSTM على تنبؤ الإطارات في مجموعتي بيانات MovingMNIST وKTH، وكذلك على تنبؤ تدفق المرور في مجموعة بيانات TexiBJ. وقد حقق SA-ConvLSTM أداءً متقدمًا جدًا (state-of-the-art) على كلا المجموعتين، مع عدد أقل من المعاملات وفعالية زمنية أعلى مقارنةً بالطريقة السابقة الأكثر تقدمًا.