في هذه الدراسة، نقترح لأول مرة إطارًا يعتمد على الترانسفورمر لتعلم تمثيلات غير مراقبة للسلاسل الزمنية متعددة المتغيرات. يمكن استخدام النماذج المُدرَّبة مسبقًا في مهام لاحقة مثل الانحدار والتصنيف، والتوقع، وملء القيم المفقودة. وبتحليل نماذجنا على عدة مجموعات بيانات معيارية للانحدار والتصنيف للسلاسل الزمنية متعددة المتغيرات، نُظهر أن منهجيتنا لا تمثل فقط أكثر الطرق نجاحًا حتى الآن التي تعتمد على التعلم غير المراقب للسلاسل الزمنية متعددة المتغيرات، بل تتفوق أيضًا على أداء أفضل الطرق المراقبة الحالية؛ وذلك حتى عند وجود عدد محدود جدًا من عينات التدريب، مع الحفاظ على كفاءة حسابية عالية. وأخيرًا، نُثبت أن التدريب المسبق غير المراقب لنماذج الترانسفورمر لدينا يوفر فائدة كبيرة في الأداء مقارنة بالتعلم المراقب الكامل، حتى دون الاستفادة من بيانات غير مُعلَّمة إضافية، أي من خلال إعادة استخدام نفس عينات البيانات عبر الهدف غير المراقب.