AutoTimes: مُقدّرات سلسلة زمنية ذاتية التوليد عبر نماذج اللغة الكبيرة

لم تُطوّر النماذج الأساسية للسلاسل الزمنية بشكل كامل نظرًا لقلة توفر مجموعات بيانات السلاسل الزمنية، وافتقار الدراسات إلى استكشاف التدريب المسبق القابل للتوسع. وبما أن السلاسل الزمنية وصيغة اللغة الطبيعية تتشابهان من حيث البنية التسلسلية، تُظهر الأبحاث المتزايدة إمكانية استغلال النماذج اللغوية الكبيرة (LLM) في تحليل السلاسل الزمنية. ومع ذلك، لم تُؤخذ خاصية التوليد التلقائي (autoregressive) والبنية المعمارية المحدودة بالـ decoder فقط في الاعتبار بشكل كافٍ، ما أدى إلى استغلال غير كافٍ لقدرات النماذج الكبيرة. ولإعادة تنشيط كامل لقدرة النماذج الكبيرة على الانتقال بين الرموز (tokens) وتمكين التوليد متعدد المراحل، نقترح نموذج AutoTimes، الذي يعيد توظيف النماذج الكبيرة كمُقدّرين للسلاسل الزمنية ذات التوليد التلقائي، من خلال تحويل السلاسل الزمنية إلى فضاء التضمين الخاص برموز اللغة، ثم توليد التوقعات المستقبلية بشكل تسلسلي بطول متغير. يتوافق AutoTimes مع أي نموذج لغوي كبير مبني على بنية decoder فقط، ويُظهر مرونة في طول النافذة العكسية (lookback length)، بالإضافة إلى قابلية التوسع مع النماذج الكبيرة الأكبر. علاوةً على ذلك، نُصاغ السلاسل الزمنية كمُدخلات (prompts)، مما يمدد نطاق السياق المستخدم للتنبؤ إلى ما هو أبعد من النافذة العكسية، ويُعرف هذا بالتنبؤ ضمن السياق (in-context forecasting). وباستخدام تواريخ نصية مُدمجة في النموذج (LLM-embedded textual timestamps)، يمكن لـ AutoTimes استغلال المعلومات الزمنية لمحاذاة السلاسل الزمنية متعددة المتغيرات. من الناحية التجريبية، حقق AutoTimes أداءً متميزًا على مستوى الحد الأقصى (state-of-the-art)، مع 0.1% فقط من المعلمات القابلة للتدريب، وسرعة في التدريب والتنبؤ تفوق خمس مرات مقارنةً بالأنظمة المبنية على LLM المتقدمة. يمكن الوصول إلى الكود من خلال هذا المستودع: https://github.com/thuml/AutoTimes.