سلسلة زمنية تساوي 64 كلمة: التنبؤ الطويل الأمد باستخدام Transformers

نُقدّم تصميمًا فعّالًا للنماذج المستندة إلى Transformer للتنبؤ بسلسلة زمنية متعددة المتغيرات والتعلم التمثيلي التلقائي التدريب. ويُبنى هذا التصميم على مكوّنين رئيسيين: (أ) تقسيم السلسلة الزمنية إلى قطع على مستوى الفرعيات، والتي تُستخدم كرموز إدخال للـ Transformer؛ (ب) الاستقلال بين القنوات، حيث تحتوي كل قناة على سلسلة زمنية أحادية المتغير، وتشارك جميع السلاسل في نفس التضمين ونفس أوزان الـ Transformer. ويمنح تصميم القطع فوائد ثلاثية طبيعية: الحفاظ على المعلومات الدلالية المحلية في التضمين؛ تقليل تربيعية في استهلاك الحساب والذاكرة بالنسبة لخرائط الانتباه، مع الحفاظ على نفس نافذة التتبع السابقة؛ وتمكّن النموذج من الانتباه إلى تاريخ أطول. ويُظهر نموذجنا، المُسمّى Transformer للسلاسل الزمنية ذات القطع المستقلة عن القنوات (PatchTST)، تحسينًا كبيرًا في دقة التنبؤ طويل المدى مقارنةً بنماذج الـ Transformer الرائدة حاليًا. كما طبّقنا نموذجنا على مهام التدريب المسبق التلقائي التدريب، وحققنا أداءً ممتازًا في التخصيص (fine-tuning)، متفوّقًا على التدريب المُراقب على مجموعات بيانات كبيرة. كما أن نقل التمثيل المُدرّب مسبقًا مع تغطية (masked) من مجموعة بيانات واحدة إلى أخرى يُنتج دقة تنبؤية رائدة في المجال. يمكن الوصول إلى الكود من خلال: https://github.com/yuqinie98/PatchTST.