هل المتحولات فعّالة في تنبؤات السلاسل الزمنية؟

في الآونة الأخيرة، شهدنا زيادة كبيرة في الحلول المستندة إلى نماذج الـ Transformer لمهام التنبؤ طويل الأجل بالسلسلة الزمنية (LTSF). على الرغم من التحسن الملحوظ في الأداء خلال السنوات الماضية، فإننا نشكك في صلاحية هذا المسار البحثي في هذه الدراسة. تحديداً، تعتبر نماذج الـ Transformer حلاً ناجحاً بشكل كبير لاستخراج العلاقات الدلالية بين العناصر في سلسلة طويلة. ومع ذلك، في نمذجة السلسلة الزمنية، يتعين علينا استخراج العلاقات الزمنية ضمن مجموعة مرتبة من النقاط المتصلة. بينما تساعد الكودات الموضعية واستخدام الرموز لتمثيل السلسلة الفرعية في الحفاظ على بعض المعلومات المرتبة في نماذج الـ Transformer، فإن طبيعة آلية الانتباه الذاتي \emph{المستقلبة للترميز} (permutation-invariant) تؤدي حتماً إلى فقدان معلومات زمنية. لتأكيد ادعائنا، قدمنا مجموعة من النماذج الخطية البسيطة ذات الطبقة الواحدة التي أطلقنا عليها LTSF-Linear للمقارنة. أظهرت النتائج التجريبية على تسعة قواعد بيانات حقيقية أن LTSF-Linear تتفوق بشكل مفاجئ على النماذج المعقدة القائمة على الـ Transformer الموجودة حالياً في جميع الحالات، وفي كثير من الأحيان بفارق كبير. علاوة على ذلك، أجرينا دراسات تجريبية شاملة لاستكشاف تأثير مختلف عناصر تصميم نماذج LTSF على قدرتها على استخراج العلاقات الزمنية. نأمل أن يفتح هذا الاكتشاف المفاجئ آفاقًا جديدة للبحث العلمي حول مهمة التنبؤ طويل الأجل بالسلسلة الزمنية (LTSF). كما ندعو إلى إعادة النظر في صلاحية الحلول المستندة إلى الـ Transformer لمهام تحليل السلسلة الزمنية الأخرى (مثل اكتشاف الشواذ) في المستقبل. يمكن الوصول إلى الكود البرمجي عبر الرابط: \url{https://github.com/cure-lab/LTSF-Linear}.