L'émergence des modèles linguistiques pré-entraînés (PLMs) a connu un succès remarquable dans de nombreuses tâches de traitement du langage naturel (NLP), notamment la classification de texte. En raison de la faible ou nulle nécessité d'ingénierie de caractéristiques lors de leur utilisation, les PLMs sont devenus le choix par défaut pour la plupart des tâches NLP. Toutefois, pour des corpus spécifiques à un domaine (par exemple, financier, juridique ou industriel), l'ajustement fin (fine-tuning) d'un modèle pré-entraîné sur une tâche particulière a démontré une amélioration des performances. Dans cet article, nous comparons les performances de quatre modèles PLMs différents sur trois jeux de données publics libres de domaine et sur un jeu de données réel contenant des termes spécifiques à un domaine, par rapport à un classificateur SVM linéaire simple utilisant des vecteurs TF-IDF. Les résultats expérimentaux sur les quatre jeux de données montrent qu'aucune amélioration significative n'est obtenue en utilisant des PLMs, même après ajustement fin, par rapport au classificateur SVM linéaire. Par conséquent, nous recommandons que, pour les tâches de classification de texte, l'utilisation d'un SVM traditionnel associé à une ingénierie de caractéristiques soigneuse puisse offrir des performances supérieures et à moindre coût par rapport aux PLMs.