UniTS: نموذج متعدد المهام موحد للسلاسل الزمنية

على الرغم من الأداء القوي الذي أظهرته نماذج المحولات المُدرّبة مسبقًا والنموذجات اللغوية الكبيرة القائمة على النص التي تم إعادة برمجتها في المهام المتعلقة بالسلاسل الزمنية، فإن أفضل الهياكل المعمارية تختلف بشكل كبير حسب المهمة، مع تركيز معظم النماذج الضيق على مجالات محددة، مثل توقع السلاسل الزمنية. لا يزال التوحيد بين المهام التنبؤية والمنشئة للسلاسل الزمنية ضمن نموذج واحد أمرًا صعبًا. نقدم UniTS، وهو نموذج موحد متعدد المهام للسلاسل الزمنية يستخدم ترميز المهمة (task tokenization) لدمج المهام التنبؤية والمنشئة داخل إطار واحد. يعتمد UniTS على كتلة محول معدلة لاستخلاص تمثيلات عامة للسلاسل الزمنية، مما يمكّن من نقل المعرفة من مجموعة بيانات تدريب مسبقة متنوعة ومتعددة المجالات — تميّزت بأنماط ديناميكية متفاوتة ومعدلات أخذ عينات مختلفة ومقاييس زمنية متنوعة — إلى مجموعة واسعة من مجموعات البيانات السفلية التي تختلف في مواصفات المهام ونطاقات البيانات. وقد أظهرت النتائج اختبارات على 38 مجموعة بيانات من مجالات أجهزة الاستشعار الخاصة بالنشاط البشري، والرعاية الصحية، والهندسة، والتمويل، أن UniTS يتفوق على 12 نموذجًا للتنبؤ، و20 نموذجًا للتصنيف، و18 نموذجًا لكشف الشذوذ، و16 نموذجًا للإكمال (imputation)، بما في ذلك النماذج المُعدّلة من النماذج اللغوية الكبيرة القائمة على النص. كما أظهر UniTS قدرات قوية في التعلم القليل (few-shot) والتعامل مع التعليمات (prompt)، عند تطبيقه على مجالات ومهام جديدة. وفي البيئات ذات المهمة الواحدة، يتفوق UniTS على النماذج المتخصصة الأخرى في السلاسل الزمنية. يُتاح الكود وبيانات التدريب عبر الرابط: https://github.com/mims-harvard/UniTS.