TSMixer: نموذج MLP-Mixer خفيف الوزن للتنبؤ بالسلاسل الزمنية متعددة المتغيرات

حصلت نماذج Transformers على شعبية متزايدة في التنبؤ بالسلاسل الزمنية بفضل قدرتها على التقاط التفاعلات في التسلسلات الطويلة. ومع ذلك، فإن متطلباتها العالية من الذاكرة والحساب تمثل عقبة حرجة أمام التنبؤ على المدى الطويل. ولحل هذه المشكلة، نقترح TSMixer، وهي بنية عصبية خفيفة الوزن مكونة حصريًا من وحدات متعددة الطبقات (MLP) لتنبؤ متعدد المتغيرات وتعلم التمثيل على السلاسل الزمنية المُقسَّمة إلى أجزاء. مستلهمين من النجاح الذي حققته نموذج MLP-Mixer في مجال الرؤية الحاسوبية، نعدّل هذا النموذج ليتناسب مع السلاسل الزمنية، مع معالجة التحديات المصاحبة وتقديم مكونات مُختبرة لتعزيز الدقة. ويشمل ذلك نموذجًا مبتكرًا يتمثل في إرفاق رؤوس إعادة التوازن المباشر (online reconciliation heads) بجسم نموذج MLP-Mixer، بهدف تمثيل خصائص السلاسل الزمنية بشكل صريح، مثل الهيكل الهرمي والارتباطات بين القنوات. كما نقترح نموذجًا مبتكرًا للتمثيل الهجين للقنوات، إلى جانب استخدام تقنية تمرير بسيطة (gating) لمعالجة التفاعلات الضوضائية بين القنوات وتحسين التعميم عبر مجموعات بيانات متنوعة. وبدمج هذه المكونات الخفيفة، نعزز بشكل كبير قدرة الهياكل البسيطة المبنية على MLP، مما يسمح لها بتقديم أداء أفضل من نماذج Transformers المعقدة مع استخدام ضئيل جدًا للموارد الحاسوبية. علاوةً على ذلك، فإن التصميم القابل للتركيب في TSMixer يتيح التوافق مع منهجيات التعلم المراقبة والتعلم الذاتي المُقنّع (masked self-supervised)، مما يجعله بنية واعدة لبناء نماذج أساسية للسلاسل الزمنية (Time-Series Foundation Models). وقد أظهر TSMixer تفوقًا ملحوظًا على أحدث النماذج المبنية على MLP وTransformers في التنبؤ، بفارق يصل إلى 8-60٪. كما تفوق على أحدث النماذج القوية المبنية على Patch-Transformer (بفارق 1-2٪)، مع خفض كبير في استهلاك الذاكرة والوقت التشغيلي (بمقدار 2-3 أضعاف). تم إصدار الشفرة المصدرية لنماذجنا رسميًا كـ PatchTSMixer على منصة HuggingFace:رابط النموذج: https://huggingface.co/docs/transformers/main/en/model_doc/patchtsmixerأمثلة تطبيقية: https://github.com/ibm/tsfm/#notebooks-links