CALF: محاذاة نماذج اللغة الكبيرة للتنبؤ بالسلسلة الزمنية من خلال التحسين العابر للوسائط

تم استخدام التعلم العميق (مثل، نموذج Transformer) على نطاق واسع وبشكل ناجح في توقع السلاسل الزمنية المتعددة المتغيرات (MTSF). بخلاف الطرق الحالية التي تركز على تدريب النماذج من وضع زمني واحد للإدخال، أظهرت طرق MTSF المستندة إلى النماذج اللغوية الكبيرة (LLMs) والتي تعتمد على إدخال نصوص متعددة الأوضاع وزمنية فائقة التفوق مؤخرًا، خاصة عند توفر بيانات زمنية محدودة. ومع ذلك، فإن معظم الطرق الحالية المستندة إلى LLMs تركز عادةً على تكييف وتغليظ هذه النماذج، مع إهمال الاختلاف في التوزيع بين الرموز النصية والزمنية المدخلة، مما يؤدي إلى أداء غير مثالي.لحل هذه المشكلة، نقترح إطارًا جديدًا لتعديل النماذج اللغوية الكبيرة متعددة الأوضاع (CALF) لتوقع السلاسل الزمنية المتعددة المتغيرات من خلال تقليل الاختلاف في التوزيع بين البيانات النصية والزمنية. يتكون هذا الإطار بشكل أساسي من فرع الهدف الزمني الذي يستخدم الإدخال الزمني وفرع المصدر النصي الذي يستخدم الإدخال النصي المنسجم. لتخفيض الاختلاف في التوزيع، قمنا بتطوير وحدة التطابق متعددة الأوضاع لتوحيد توزيعات الإدخال متعددة الأوضاع أولًا. بالإضافة إلى ذلك، تم تطوير خسارة تنظيم الميزات لتوفير مواءمة أفضل للميزات الوسيطة بين الفرعين لتحديث الوزن بشكل أفضل، بينما تم تقديم خسارة الثبات في الإخراج لتمكين تمثيلات الإخراج من كلا الفرعين من التوافق بشكل فعال.بفضل مواءمة الأوضاع، يحقق CALF أداءً رائدًا في مجاله لكل من المهام التنبؤية طويلة الأمد وقصيرة الأمد مع تعقيد حسابي منخفض، ويظهر قدرات جيدة في التعامل مع حالات القليل من العينات (few-shot) والحالات بدون عينات (zero-shot) مشابهة لتلك الموجودة في LLMs. يمكن الحصول على الكود من الرابط: https://github.com/Hank0626/LLaTA.