تحسين ترميز الموضع في المحولات لتصنيف السلاسل الزمنية متعددة المتغيرات

أظهرت نماذج الترانسفورمر أداءً متميزًا في العديد من تطبيقات التعلم العميق. عند تطبيقها على بيانات السلسلة الزمنية، تتطلب النماذج ترميزًا فعّالًا للموضع لالتقاط ترتيب بيانات السلسلة الزمنية. لا يزال الأثر الفعلي لترميز الموضع في تحليل السلسلة الزمنية غير مُدرَس جيدًا، ويتسم بالجدل، مثل السؤال حول ما إذا كان من الأفضل استخدام ترميز موضع مطلق أم موضع نسبي، أو دمجهما معًا. ولتوضيح هذا الأمر، نقوم أولًا بمراجعة الطرق الحالية لترميز الموضع المطلق والنسبي عند تطبيقها في تصنيف السلسلة الزمنية. ثم نقترح طريقة جديدة لترميز الموضع المطلق مخصصة لبيانات السلسلة الزمنية تُسمى ترميز الموضع المطلق الزمني (tAPE). تعتمد طريقة الترميز الجديدة على طول السلسلة وبعد الترميز المدخل (input embedding dimension) في ترميز الموضع المطلق. بالإضافة إلى ذلك، نقترح نسخة محسّنة من حيث الكفاءة الحسابية لترميز الموضع النسبي (eRPE) بهدف تحسين القدرة على التعميم في تحليل السلسلة الزمنية. ثم نقترح نموذجًا جديدًا لتصنيف السلسلة الزمنية متعددة المتغيرات (MTSC) يجمع بين tAPE/eRPE وترميز المدخلات القائم على التصفية (convolution-based)، ويُسمى ConvTran، بهدف تحسين ترميز الموضع وترميز البيانات في السلسلة الزمنية. تُعد الطرق المقترحة لترميز الموضع المطلق والنسبي بسيطة وفعّالة، ويمكن دمجها بسهولة في كتل الترانسفورمر واستخدامها في المهام التالية مثل التنبؤ، الانحدار الخارجي (extrinsic regression)، وكشف الشذوذ. أظهرت التجارب الواسعة على 32 مجموعة بيانات سلسلة زمنية متعددة المتغيرات أن نموذجنا يتفوق بشكل كبير على النماذج الحالية القائمة على التصفية والترانسفورمر. تم إتاحة الكود والنماذج المصدرية عبر الرابط: \url{https://github.com/Navidfoumani/ConvTran}.