TEMPO: نموذج تحويلي مُدرَّب مسبقًا يعتمد على المُحفِّزات للتنبؤ بالسلاسل الزمنية

شهد العقد الماضي تطورات كبيرة في نمذجة السلاسل الزمنية باستخدام التعلم العميق. وعلى الرغم من تحقيق النماذج الأفضل أداءً لنتائج متقدمة، إلا أن أفضل الهياكل المعمارية تختلف بشكل كبير حسب التطبيقات والمجالات. وفي الوقت نفسه، أظهر نموذج Generative Pre-trained Transformer (GPT) في مجال معالجة اللغة الطبيعية أداءً مبهرًا من خلال تدريب نموذج عام مرن على مجموعة متنوعة من البيانات النصية. ومن المثير للاهتمام استكشاف ما إذا كانت هياكل نوع GPT يمكن أن تكون فعالة في السلاسل الزمنية، من خلال التقاط الخصائص الديناميكية الجوهرية وتحقيق تحسينات كبيرة في الدقة. في هذه الورقة، نقترح إطارًا جديدًا يُدعى TEMPO، الذي يمكنه التعلم الفعّال لتمثيلات السلاسل الزمنية. ونركّز على استغلال حالتين أساسيتين من التحيّزات الاستنتاجية المميزة لمهام السلاسل الزمنية في النماذج المُدرّبة مسبقًا: (1) تفكيك التفاعل المعقد بين مكونات الاتجاه والدورة الموسمية والبقيّة؛ و(2) إدخال تصميم "الأسئلة" (prompts) لتسهيل التكيّف التوزيعي في أنواع مختلفة من السلاسل الزمنية. يوسع إطار TEMPO القدرة على نمذجة ديناميكية الظواهر الزمنية الواقعية من البيانات التي تأتي من مجالات متنوعة. تُظهر تجاربنا أداءً متفوّقًا لـ TEMPO مقارنةً بالأساليب الرائدة في الحالة الصفرية (zero-shot) على عدد من مجموعات بيانات السلاسل الزمنية القياسية. ويُلاحظ هذا التحسين في الأداء ليس فقط في السيناريوهات التي تتضمّن بيانات لم تُرَ من قبل، بل أيضًا في السيناريوهات التي تشمل إدخالات متعددة الأنواع (multi-modal). ويُبرز هذا الاكتشاف القوي إمكانات TEMPO كإطار أساسي لبناء النماذج الأساسية.