Die Einführung prätrainierter Sprachmodelle (Pre-trained Language Models, PLMs) hat in zahlreichen Aufgaben des Natural Language Processing (NLP), einschließlich der Textklassifikation, erheblichen Erfolg gezeigt. Aufgrund der geringen bis fehlenden Notwendigkeit von Merkmalsingenieurarbeit bei der Nutzung dieser Modelle sind PLMs zunehmend die Standardwahl für beliebige NLP-Aufgaben. Für domain-spezifische Korpora (z. B. Finanz-, Rechts- oder Industriedaten) hat sich jedoch gezeigt, dass das Feintunen eines prätrainierten Modells für eine spezifische Aufgabe zu einer Leistungssteigerung führen kann. In diesem Paper vergleichen wir die Leistungsfähigkeit von vier verschiedenen PLMs anhand dreier öffentlicher, domain-freier Datensätze sowie eines realweltbasierten Datensatzes mit domain-spezifischen Begriffen, gegenüber einem einfachen linearen SVM-Klassifikator, der Texte mittels TF-IDF-Vektorisierung verarbeitet. Die experimentellen Ergebnisse an den vier Datensätzen zeigen, dass die Verwendung von PLMs – selbst nach Feintuning – keine signifikanten Verbesserungen gegenüber dem linearen SVM-Klassifikator erbringt. Daher empfehlen wir, dass bei Textklassifikationsaufgaben traditionelle SVM-Modelle in Kombination mit sorgfältiger Merkmalsingenieurarbeit eine kostengünstigere und gleichzeitig überlegene Leistung erzielen können im Vergleich zu PLMs.