HyperAIHyperAI

Command Palette

Search for a command to run...

CALF: محاذاة نماذج اللغة الكبيرة للتنبؤ بالسلسلة الزمنية من خلال التحسين العابر للوسائط

Peiyuan Liu extsuperscript1,* Hang Guo extsuperscript1,* Tao Dai extsuperscript2,† Naiqi Li extsuperscript1,† Jigang Bao extsuperscript1 Xudong Ren extsuperscript1 Yong Jiang extsuperscript1 Shu-Tao Xia extsuperscript1,3

الملخص

تم استخدام التعلم العميق (مثل، نموذج Transformer) على نطاق واسع وبشكل ناجح في توقع السلاسل الزمنية المتعددة المتغيرات (MTSF). بخلاف الطرق الحالية التي تركز على تدريب النماذج من وضع زمني واحد للإدخال، أظهرت طرق MTSF المستندة إلى النماذج اللغوية الكبيرة (LLMs) والتي تعتمد على إدخال نصوص متعددة الأوضاع وزمنية فائقة التفوق مؤخرًا، خاصة عند توفر بيانات زمنية محدودة. ومع ذلك، فإن معظم الطرق الحالية المستندة إلى LLMs تركز عادةً على تكييف وتغليظ هذه النماذج، مع إهمال الاختلاف في التوزيع بين الرموز النصية والزمنية المدخلة، مما يؤدي إلى أداء غير مثالي.لحل هذه المشكلة، نقترح إطارًا جديدًا لتعديل النماذج اللغوية الكبيرة متعددة الأوضاع (CALF) لتوقع السلاسل الزمنية المتعددة المتغيرات من خلال تقليل الاختلاف في التوزيع بين البيانات النصية والزمنية. يتكون هذا الإطار بشكل أساسي من فرع الهدف الزمني الذي يستخدم الإدخال الزمني وفرع المصدر النصي الذي يستخدم الإدخال النصي المنسجم. لتخفيض الاختلاف في التوزيع، قمنا بتطوير وحدة التطابق متعددة الأوضاع لتوحيد توزيعات الإدخال متعددة الأوضاع أولًا. بالإضافة إلى ذلك، تم تطوير خسارة تنظيم الميزات لتوفير مواءمة أفضل للميزات الوسيطة بين الفرعين لتحديث الوزن بشكل أفضل، بينما تم تقديم خسارة الثبات في الإخراج لتمكين تمثيلات الإخراج من كلا الفرعين من التوافق بشكل فعال.بفضل مواءمة الأوضاع، يحقق CALF أداءً رائدًا في مجاله لكل من المهام التنبؤية طويلة الأمد وقصيرة الأمد مع تعقيد حسابي منخفض، ويظهر قدرات جيدة في التعامل مع حالات القليل من العينات (few-shot) والحالات بدون عينات (zero-shot) مشابهة لتلك الموجودة في LLMs. يمكن الحصول على الكود من الرابط: https://github.com/Hank0626/LLaTA.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp