مُحَوِّل تسلسلي مُدرَّب مُسبقًا توليدياً لتنبؤات السلسلة الزمنية

تمت جهود حديثة لتدعيم دقة التنبؤ بالسلسلة الزمنية من خلال إدخال هياكل شبكة متقدمة واستراتيجيات ما قبل التدريب ذاتية التوجيه. ومع ذلك، ما زالت الأساليب الحالية تُظهر عيبين جوهريين. أولاً، تعتمد هذه الأساليب غالبًا على مجموعة بيانات واحدة فقط أثناء التدريب، مما يحد من قدرة النموذج على التعميم بسبب الحد المحدود لحجم بيانات التدريب. ثانيًا، يُتبع نموذج التوليد خطوة واحدة على نطاق واسع، ما يتطلب رأس تنبؤ مخصص ويتجاهل الاعتماديات الزمنية في السلسلة الناتجة، كما يؤدي إلى زيادة تكاليف التدريب عند استخدام فترات تنبؤ مختلفة.لحل هذه المشكلات، نقترح معمارية جديدة للتحويل التسلسلي المُدرَّب مسبقًا تقوم بالتوليد، تُسمى \textbf{GPHT}. وتشمل التصاميم الأساسية في GPHT جوانب متعددة. من جهة، ندعو إلى بناء مجموعة بيانات مختلطة ضمن افتراض الاستقلال بين القنوات لتدريب النموذج مسبقًا، تضم مجموعة متنوعة من البيانات من سيناريوهات بيانات مختلفة. وهذا النهج يوسع بشكل كبير حجم بيانات التدريب، ما يمكّن نموذجنا من اكتشاف الخصائص المشتركة في البيانات الزمنية ويسهّل التحويل الفعّال إلى مجموعات بيانات محددة. من جهة أخرى، تستخدم GPHT نموذج تنبؤ تلقائي التوليد (auto-regressive)، مما يمكّنها من نمذجة الاعتماديات الزمنية في السلسلة الناتجة بشكل فعّال. وبما أن النموذج لا يحتاج إلى رأس تنبؤ مخصص، فإنه يتيح \textit{استخدام نموذج واحد لإجراء التنبؤ عند أي فترة زمنية مطلوبة}. قمنا بإجراء تجارب واسعة على ثمانية مجموعات بيانات باستخدام نماذج شائعة للتدريب الذاتي التوجيه والتدريب المُراقب. وأظهرت النتائج أن GPHT تتفوّق على النماذج الأساسية في مختلف سيناريوهات التخصيص (fine-tuning) والتعلم الصفر/قليل (zero/few-shot) في المهمة التقليدية للتنبؤ طويل الأمد. ونُشر كودنا بشكل عام \footnote{https://github.com/icantnamemyself/GPHT}.