تم تطبيق نماذج Transformers على نطاق واسع في تصنيف النصوص. ومع ذلك، فإن البيانات الواقعية تحتوي على انحرافات وعلامات ضوضائية تُشكّل تحديات لنموذج Transformers الحديث. يقترح هذا البحث إطار العمل الجديد Protoformer، وهو إطار ذاتي التعلم لنموذج Transformers يمكنه الاستفادة من العينات المشكلة في تصنيف النصوص. يتميز Protoformer بآلية اختيار للعينات المُدمجة، مما يسمح لنا باستخراج وتوظيف نماذج تمثيلية للانحرافات ونماذج تمثيلية للتصنيفات الصعبة بشكل فعّال. وقد أظهرنا هذه القدرات على مجموعات بيانات تختلف في هيكلها النصي (مثل Twitter وIMDB وArXiv). كما طبّقنا الإطار على عدة نماذج مختلفة. وتبين النتائج أن Protoformer قادر على تحسين أداء نماذج Transformers الحالية في مختلف السياقات التجريبية.