VCformer: متغير التحويلة ذات الارتباط المتغير مع الارتباط المتأخر الذاتي للتنبؤ بسلسلة زمنية متعددة المتغيرات

تم تطبيق التنبؤ بالسلاسل الزمنية متعددة المتغيرات (MTS) على نطاق واسع في مجالات متنوعة مثل توقعات الطقس واستهلاك الطاقة. ومع ذلك، لا يزال البحث الحالي يعتمد على آلية الانتباه الذاتي البسيطة (vanilla point-wise self-attention) لاستخلاص الاعتماديات بين المتغيرات، وهي آلية غير كافية في استخلاص الارتباطات المعقدة المضمنة بين المتغيرات. ولسد هذه الفجوة، نقترح نموذجًا يُدعى Transformer الخاص بالارتباطات بين المتغيرات (VCformer)، والذي يستخدم وحدة الانتباه للارتباطات بين المتغيرات (VCA) لاستخراج العلاقات بين المتغيرات. وبشكل خاص، وباستناد إلى نظرية العمليات العشوائية، تقوم وحدة VCA بحساب ودمج درجات الارتباط المتقاطع المقابلة لمختلف التأخيرات بين الاستفسارات (queries) والأساسيات (keys)، مما يعزز قدرتها على اكتشاف العلاقات متعددة المتغيرات. بالإضافة إلى ذلك، مستوحاة من نظرية ديناميات كوبمان (Koopman dynamics theory)، نطور أيضًا كاشف الزمني كوبمان (KTD) لمعالجة التغيرات غير الثابتة في السلاسل الزمنية بشكل أكثر فعالية. تمكّن هاتان المكوّنتان الرئيسيتان نموذج VCformer من استخلاص كل من الارتباطات متعددة المتغيرات والاعتماديات الزمنية. وتوصل تجاربنا الواسعة على ثمانية مجموعات بيانات واقعية إلى فعالية VCformer، حيث حقق أداءً من الطراز الأول مقارنةً بباقات النماذج المتطورة الأخرى. يُمكن الوصول إلى الكود عبر هذا المستودع: https://github.com/CSyyn/VCformer.