摘要
预训练语言模型（Pre-trained Language Models, PLMs）在自然语言处理（NLP）的诸多任务中取得了显著成功，尤其是在文本分类任务中表现突出。由于使用这些模型几乎无需进行特征工程，PLMs 已成为各类 NLP 任务的默认选择。然而，针对特定领域语料（如金融、法律和工业领域），对预训练模型进行微调以适应具体任务，已被证明能够带来性能提升。本文在三个公开的领域无关数据集和一个包含领域特定词汇的真实世界数据集上，对比了四种不同 PLMs 的性能，并将其与基于 TF-IDF 向量化文本的简单线性支持向量机（SVM）分类器进行比较。实验结果表明，在四个数据集上，即使经过微调，PLMs 的性能也并未显著优于线性 SVM 分类器。因此，我们建议在文本分类任务中，采用传统的线性 SVM 配合精心设计的特征工程，往往能够以更低的成本实现优于 PLMs 的性能表现。