Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

الملخص

نقدم Sundial، عائلة من النماذج الأساسية لمسلسلات زمنية مُستقرة ومُرنة وقابلة للتوسع. لتنبؤ توزيع البايت التالي، نقترح خسارة TimeFlow مستندة على مطابقة التدفق، مما يسهل التدريب المسبق الأصلي للمحولات (Transformers) على المسلسلات الزمنية ذات القيم المستمرة دون الحاجة إلى التقطيع المتقطع. بشرط وجود مسلسلات زمنية ذات أطوال متغيرة، يتم تدريب نماذجنا بدون تحديد أي توزيع سابق ويمكنها إنتاج تنبؤات محتملة متعددة، مما يحقق مرونة أكبر في تعلم التمثيل مقارنة باستخدام الكثافات المعلمة. نحو نماذج أساسية لمسلسلات زمنية، نستفيد من تعديلات طفيفة ولكن حاسمة للمحولات ونقوم بإعداد TimeBench الذي يحتوي على تريليون نقطة زمنية، معظمها من قواعد بيانات العالم الحقيقي والبيانات المصنعة. عن طريق الحد من انهيار الوضع عبر خسارة TimeFlow، نقوم بالتدريب المسبق لعائلة من نماذج Sundial على TimeBench، والتي تحقق قدرة نموذجية غير مسبوقة وأداءً عامًا فائقًا. بالإضافة إلى القابلية للتوسع بشكل ممتاز، Sundial تحقق أفضل النتائج في مقاييس التنبؤ النقطي والاحتمالي مع سرعة استدلال فورية، أي إجراء تنبؤات صفرية خلال بضعة ملي ثوانٍ فقط. نعتقد أن قدرة Sundial الرائدة على التنبؤ الجينراتيفي يمكن أن تحسن موثوقية النماذج في اتخاذ القرارات في العالم الحقيقي. الرمز البرمجي متاح على: هذا الرابط https URL.