PatchMixer: معمارية مزج القطع لتنبؤ السلاسل الزمنية الطويلة الأجل

على الرغم من أن معمارية الترانسفورمر أصبحت المعمارية المهيمنة في مهام توقع السلاسل الزمنية في السنوات الأخيرة، تبقى هناك تحدي أساسي: آلية الانتباه الذاتي التي لا تتأثر بالتبديل (permutation-invariant) داخل الترانسفورمر تؤدي إلى فقدان المعلومات الزمنية. ولحل هذه التحديات، نقترح نموذج PatchMixer، وهو نموذج جديد مبني على الشبكات العصبية التلافيفية (CNN). ويُدخل هذا النموذج هيكلًا تلافيفيًا يعتمد على التبديل (permutation-variant) لحفظ المعلومات الزمنية. ويتفرع عن الشبكات التلافيفية التقليدية في هذا المجال، التي تستخدم غالبًا مقياسين متعددين أو عددًا كبيرًا من الفروع، فإن طريقة عملنا تعتمد حصريًا على التلافيف العميقة المنفصلة (depthwise separable convolutions). وهذا يمكّننا من استخراج الميزات المحلية والارتباطات العالمية باستخدام بنية ذات مقياس واحد فقط. علاوةً على ذلك، نستخدم رؤوس توقع مزدوجة تشمل مكونات خطية وغير خطية لتمثيل أفضل للاتجاهات والتفاصيل المستقبلية للمنحنى. وأظهرت نتائج التجارب على سبعة معايير لتنبؤ السلاسل الزمنية أن PatchMixer حقق تحسينات نسبية قدرها 3.9% و21.2% مقارنة بالطريقة الأفضل في الحد الأدنى من الأداء والنموذج التلافيفي الأفضل أداءً على التوالي، مع تسريع بنسبة 2-3 أضعاف مقارنة بالطريقة الأكثر تقدمًا.