Autoformer: تحولات التحليل مع الارتباط التلقائي للتنبؤ بالسلسلة طويلة الأمد

تمديد فترة التنبؤ يُعدّ متطلّبًا حاسمًا في التطبيقات الواقعية، مثل التنبيه المبكر للطقس الشديد والتخطيط طويل الأجل لاستهلاك الطاقة. تُعنى هذه الورقة بمشكلة التنبؤ طويل الأجل في السلاسل الزمنية. اعتمدت النماذج السابقة القائمة على مُتَحَوِّل (Transformer) على آليات انتباه ذاتي متنوعة لاستكشاف الارتباطات على المدى الطويل. ومع ذلك، فإن الأنماط الزمنية المعقدة للماضي البعيد تُعيق النموذج عن اكتشاف ارتباطات موثوقة. علاوةً على ذلك، يضطر مُتَحَوِّل (Transformer) إلى استخدام نسخ متباعدة من انتباه ذاتي نقطي لتحقيق الكفاءة في معالجة السلاسل الطويلة، ما يؤدي إلى عقبة في استغلال المعلومات. وبeyond مُتَحَوِّل (Transformer)، قمنا بتصميم Autoformer كمُعمّر مُبتكر يعتمد على آلية ارتباط ذاتي (Auto-Correlation). ونُعيد التفكير في الممارسة التقليدية لتفكيك السلاسل الزمنية، ونُعيد تصميمها كمُكوّن أساسي داخلي في النماذج العميقة. يمنح هذا التصميم Autoformer قدرة تفكيك متقدمة ومتسلسلة على معالجة السلاسل الزمنية المعقدة. علاوةً على ذلك، مستوحاة من نظرية العمليات العشوائية، صممنا آلية الارتباط الذاتي بناءً على دورية السلسلة، والتي تقوم باستكشاف الارتباطات ودمج التمثيلات على مستوى الأجزاء الفرعية للسلسلة. أظهرت آلية الارتباط الذاتي تفوقًا على الانتباه الذاتي من حيث الكفاءة والدقة. وفي التنبؤ طويل الأجل، حقق Autoformer دقة متميزة، مع تحسن نسبي قدره 38% على ستة معايير، تغطي خمسة تطبيقات عملية: الطاقة، حركة المرور، الاقتصاد، الطقس، والأمراض. يُمكن الاطلاع على الكود في هذا المستودع: \url{https://github.com/thuml/Autoformer}.