PRformer: المحول المتكرر الهرمي للتنبؤ بالسلسلة الزمنية متعددة المتغيرات

الآلية الذاتية للانتباه (self-attention) في هندسة الترانسفورمر، والتي تكون ثابتة بالنسبة لترتيب التسلسل، تتطلب تضمين المتجهات الموضعية لترميز الترتيب الزمني في تنبؤات السلاسل الزمنية. نعتقد أن هذا الاعتماد على المتجهات الموضعية يحد من قدرة الترانسفورمر على تمثيل السلاسل الزمنية بكفاءة، خاصة عند استخدام نوافذ استرجاع أطول. لمعالجة هذه المشكلة، نقدم نهجًا مبتكرًا يجمع بين متجهات الشبكة العصبية المتكررة الهرمية (Pyramid RNN embeddings - PRE) للسلاسل الزمنية الأحادية المتغير مع قدرة الترانسفورمر على نمذجة الارتباطات متعددة المتغيرات. يستخدم PRE طبقات انتقالية هرمية ذات بُعد واحد لبناء خصائص انتقالية متعددة المقاييس التي تحتفظ بالترتيب الزمني. بالإضافة إلى ذلك، تقوم الشبكات العصبية المتكررة (RNNs)، التي تُطبق فوق هذه الخصائص، بتعلم تمثيلات سلسلة زمنية متعددة المقاييس حساسة لترتيب التسلسل. يؤدي دمج هذا النهج في نماذج الترانسفورمر ذات آليات الانتباه إلى تحسينات كبيرة في الأداء. نقدم النموذج PRformer، وهو نموذج يدمج PRE مع مُشفِّر الترانسفورمر القياسي، ويظهر أداءً رائدًا على مجموعة متنوعة من بيانات العالم الحقيقي. يؤكد هذا الأداء فعالية نهجنا في الاستفادة من النوافذ الاسترجاع الطويلة ويشدد على الدور الحاسم للتمثيلات الزمنية القوية في تحقيق إمكانات الترانسفورمر القصوى للمهام التنبؤية. يمكن الوصول إلى الكود عبر هذا المستودع: \url{https://github.com/usualheart/PRformer}.