iTransformer: التحويلات العكسية فعّالة للتنبؤ بالسلسلة الزمنية

يثير الازدهار الأخير للنماذج التنبؤية الخطية تساؤلات حول الاستمرار في التفاني تجاه التعديلات المعمارية للنماذج القائمة على مُحَوِّل (Transformer). تُستخدم هذه النماذج مُحَوِّلات لتمثيل الاعتماديات العالمية على الرموز الزمنية في السلاسل الزمنية، حيث يتكوّن كل رمز من عدة متغيرات في نفس اللحظة الزمنية. ومع ذلك، تواجه مُحَوِّلات صعوبات في التنبؤ بالسلاسل ذات نوافذ الرجوع الأكبر (lookback windows) بسبب التدهور في الأداء وانفجار الحسابات الحسابية. علاوةً على ذلك، فإن التضمين (embedding) لكل رمز زمني يدمج عدة متغيرات تمثل أحداثًا متأخرة محتملة وقياسات فيزيائية مختلفة، مما قد يؤدي إلى فشل في تعلم تمثيلات مركزة حول المتغيرات (variate-centric representations)، وبالتالي إنتاج خرائط انتباه غير ذات معنى.في هذا العمل، نعيد التفكير في المهام الفعّالة لمكونات مُحَوِّل، ونعيد توظيف هيكل مُحَوِّل دون أي تعديل على المكونات الأساسية. نقترح نموذج iTransformer الذي يطبّق ببساطة آلية الانتباه والشبكة العصبية الأمامية (feed-forward network) على الأبعاد المعكوسة. بشكل محدد، يتم تضمين نقاط الزمن الخاصة بكل سلسلة زمنية في رموز متغيرات (variate tokens)، والتي تُستخدم بواسطة آلية الانتباه لالتقاط الترابطات متعددة المتغيرات؛ في الوقت نفسه، يتم تطبيق الشبكة العصبية الأمامية على كل رمز متغير لتعلم تمثيلات غير خطية. يحقق نموذج iTransformer أداءً متقدماً على مجموعة بيانات واقعية صعبة، ما يعزز أداء عائلة مُحَوِّل من حيث الكفاءة، وقدرة التعميم عبر المتغيرات المختلفة، واستخدام أفضل لنوافذ الرجوع المختلفة، مما يجعله بديلاً مثالياً كأساس (backbone) أساسي للتنبؤ بالسلاسل الزمنية. يمكن الوصول إلى الكود عبر هذا المستودع: https://github.com/thuml/iTransformer.