Time-LLM: التنبؤ بالسلاسل الزمنية من خلال إعادة برمجة نماذج اللغة الكبيرة

تُعد التنبؤات الزمنية من أهم الجوانب في العديد من الأنظمة الديناميكية الواقعية، وقد تم دراستها بشكل واسع. على عكس معالجة اللغة الطبيعية (NLP) والرؤية الحاسوبية (CV)، حيث يمكن لنموذج كبير واحد أن يعالج مهام متعددة، فإن نماذج التنبؤ الزمني غالبًا ما تكون متخصصة، مما يتطلب تصميمات منفصلة لكل مهمة وتطبيق. وعلى الرغم من التقدم الكبير الذي أحرزته النماذج الأساسية المُدرَّبة مسبقًا في مجالات NLP وCV، فإن تطويرها في مجالات البيانات الزمنية كان محدودًا بسبب ندرة البيانات. أظهرت دراسات حديثة أن النماذج اللغوية الكبيرة (LLMs) تمتلك قدرات قوية على التعرف على الأنماط والتفكير في التسلسلات المعقدة من الرموز. ومع ذلك، لا تزال هناك تحديات كبيرة في التمثيل الفعّال للوسائط بين بيانات الزمن واللغة الطبيعية بهدف استغلال هذه القدرات. في هذا العمل، نقدم Time-LLM، وهي إطار إعادة برمجة يُعاد فيه توظيف النماذج اللغوية الكبيرة لتمكينها من التنبؤ الزمني العام مع الحفاظ على النموذج الأساسي للغة دون تغيير. نبدأ بتحويل السلاسل الزمنية المدخلة باستخدام نماذج نصية مُنظَّمة قبل إدخالها إلى النموذج اللغوي الثابت (الذي لم يُعدّل)، بهدف مواءمة الوسائط المتنوّعة. ولتعزيز قدرة النموذج اللغوي على التفكير في البيانات الزمنية، نقترح تقنية "المسار كمقدمة" (Prompt-as-Prefix - PaP)، التي تُثري السياق المدخل وتقود عملية تحويل قطع البيانات المُعاد برمجتها. ثم يتم تمرير القطع الزمنية المُعاد تشكيلها من النموذج اللغوي إلى عملية تصوير (Projection) لاستخلاص التنبؤات النهائية. أظهرت تقييماتنا الشاملة أن Time-LLM نموذج قوي للتعلم الزمني، يتفوق على أحدث النماذج المتخصصة في التنبؤ. علاوة على ذلك، يُظهر Time-LLM أداءً متميزًا في سيناريوهات التعلم القليل (few-shot) والتعلم الصفر (zero-shot).