أظهرت ظهور نماذج اللغة المُدرَّبة مسبقًا (PLMs) نجاحًا كبيرًا في العديد من مهام معالجة اللغة الطبيعية (NLP)، بما في ذلك تصنيف النصوص. وبسبب الحاجة إلى مهندسية محدودة أو لا حاجة لها للسمات عند استخدام هذه النماذج، أصبحت نماذج PLMs الخيار الافتراضي لكل مهام NLP. ومع ذلك، أظهرت عمليات التخصيص الدقيق (fine-tuning) لنموذج مُدرَّب مسبقًا على مهام محددة، في مجموعات بيانات متخصصة (مثل المالية، القانونية، والصناعية)، تحسينًا في الأداء. في هذه الورقة، نقارن أداء أربع نماذج مختلفة من PLMs على ثلاث مجموعات بيانات عامة غير مملوكة وواحدة حقيقية تحتوي على كلمات متخصصة، مقابل فاصل خطي بسيط باستخدام آلة الدعم الناقص (SVM) مع تمثيل النصوص باستخدام متجهات TF-IDF. أظهرت النتائج التجريبية على المجموعات الأربع أن استخدام نماذج PLMs، حتى بعد التخصيص الدقيق، لا يوفر مكاسب كبيرة مقارنة بفاصل SVM الخطي. وبالتالي، نوصي بأن لمهام تصنيف النصوص، يمكن أن تُقدّم آلة الدعم الناقص التقليدية مع مهندسية مهنية للسمات أداءً أفضل وبتكلفة أقل مقارنة بنماذج PLMs.