HyperAIHyperAI
منذ 3 أشهر

تدريب موحد لمحولات التنبؤ الزمنية السلسلية الشاملة

Gerald Woo, Chenghao Liu, Akshat Kumar, Caiming Xiong, Silvio Savarese, Doyen Sahoo
تدريب موحد لمحولات التنبؤ الزمنية السلسلية الشاملة
الملخص

لقد مارست التعلم العميق للتنبؤ بالسلاسل الزمنية تقليديًا ضمن إطار واحد نموذج لكل مجموعة بيانات، مما حدّ من إمكاناته في الاستفادة من التأثير المُحدث الذي تُحدثه النماذج المُدرّبة مسبقًا الكبيرة. يظهر مفهوم التنبؤ الشامل، الذي نشأ من التدريب المسبق على مجموعة واسعة من مجموعات بيانات السلاسل الزمنية، فكرة نموذج زمني كبير واحد قادر على معالجة مهام تنبؤ متعددة في المهام التالية. ومع ذلك، فإن بناء مثل هذا النموذج يواجه تحديات فريدة متعلقة ببيانات السلاسل الزمنية: (أ) التعلم عبر الترددات المختلفة، (ب) التكيف مع عدد غير محدد من المتغيرات في السلاسل الزمنية متعددة المتغيرات، و(ج) معالجة الخصائص التوزيعية المتباينة المتأصلة في البيانات الضخمة. لمعالجة هذه التحديات، نقدم تحسينات جديدة على معمارية المُحول الزمنية التقليدية، مما يؤدي إلى نموذجنا المُقترح، مُحول التنبؤ الزمني الشامل القائم على المُشفّر المُقنّع (Moirai). تم تدريب Moirai على مُخزن البيانات الزمنية المفتوحة على نطاق واسع (LOTSA) الذي أُدخل حديثًا، والذي يحتوي على أكثر من 27 مليار ملاحظة عبر تسع مجالات، ويحقق أداءً تنافسيًا أو أفضل كمُتنبئ صفر-النموذج (zero-shot) مقارنةً بالنماذج التي تُدرّب بالكامل (full-shot). يمكن العثور على الكود والبيانات وأوزان النموذج عبر الرابط: https://github.com/SalesforceAIResearch/uni2ts.