استغلال المعلومات ثنائية الأبعاد للتنبؤ بالسلاسل الزمنية طويلة الأمد باستخدام نماذج Transformers القياسية

إن التنبؤ بالسلسلة الزمنية يُعد أمرًا بالغ الأهمية لفهم وتنبؤ الديناميكيات المعقدة في مجالات متنوعة، بدءًا من المالية والاقتصاد وصولاً إلى المناخ والرعاية الصحية. تعتمد إحدى الطرق القائمة على بنية Transformer على ترميز عدة متغيرات من نفس اللحظة الزمنية إلى رمز زمني واحد لتمثيل الاعتماديات العالمية. في المقابل، تُستخدم طريقة أخرى تقوم بتضمين نقاط الزمن الخاصة بكل سلسلة زمنية منفصلة في رموز متغيرة منفصلة. تواجه الطريقة الأولى تحديات في تعلم تمثيلات مركزية على المتغيرات، بينما تُعرض الطريقة الثانية لخطر فقدان المعلومات الزمنية الأساسية الضرورية لتقديم تنبؤات دقيقة. في عملنا، نقدّم نموذج GridTST، الذي يدمج مزايا الطريقتين باستخدام آليات انتباه مبتكرة متعددة الاتجاهات مستندة إلى بنية Transformer الأصلية. ننظر إلى بيانات السلسلة الزمنية كشبكة، حيث تمثل المحور السيني خطوات الزمن، وتمثل المحور الصادي المتغيرات. يُمثل قطع الشبكة أفقيًا دمج المتغيرات في كل لحظة زمنية إلى رمز زمني، بينما يُمثل قطع الشبكة رأسيًا تضمين السلسلة الفردية عبر جميع خطوات الزمن في رمز متغير. وبالمقابل، تركز آلية الانتباه الأفقية على الرموز الزمنية لفهم الارتباطات بين البيانات في مختلف اللحظات الزمنية، بينما تُستخدم آلية الانتباه الرأسية، التي تراعي المتغيرات، لفهم الارتباطات متعددة المتغيرات. يتيح هذا الدمج معالجة فعّالة للمعلومات عبر كلا البعدين الزمني والمتغيري، مما يعزز من قدرة النموذج التحليلية. كما ندمج تقنية الشريحة (patch)، حيث يتم تقسيم الرموز الزمنية إلى شرائح على مستوى المجموعات الفرعية، مما يضمن الحفاظ على المعلومات الدلالية المحلية في التضمين. ويُظهر نموذج GridTST أداءً متقدمًا على مستوى الحد الأقصى من الأداء (state-of-the-art) بشكل ثابت عبر مجموعة متنوعة من مجموعات البيانات الواقعية.