في هذه الورقة، نستعرض الخصائص التي تمتلكها نماذج الترانسفورمر، المكتسبة من خلال التعلم الذاتي، في مجال سحابات النقاط. بشكل خاص، نقيّم فعالية الترميز المُقنّع كخطة لتدريب مسبق، ونستكشف تناقض الزخم كخيار بديل. وفي دراستنا، ندرس تأثير كمية البيانات على الميزات المُكتسبة، ونكشف عن تشابهات في سلوك الترانسفورمر عبر المجالات المختلفة. من خلال مُشاهدات تحليلية شاملة، نلاحظ أن الترانسفورمر يتعلم التركيز على مناطق ذات دلالة معنوية، مما يشير إلى أن التدريب المسبق يؤدي إلى فهم أعمق للهندسة الكامنة. علاوة على ذلك، نستعرض عملية التخصيص الدقيق (fine-tuning) وتأثيرها على التمثيلات المُكتسبة. استنادًا إلى ذلك، نطوّر استراتيجية إلغاء تجميد (unfreezing) تتفوق بشكل ثابت على النموذج الأساسي دون الحاجة إلى إدخال أي تعديلات أخرى على النموذج أو على مسار التدريب، ونحقق نتائج من الطراز الأول في مهمة التصنيف بين نماذج الترانسفورمر.