텍스트 분류 작업에서 SVM과 사전 학습된 언어 모델(PLMs)의 비교

사전 훈련된 언어 모델(Pre-trained Language Models, PLMs)의 등장은 텍스트 분류를 포함한 여러 자연어 처리(Natural Language Processing, NLP) 작업에서 큰 성공을 거두었다. 이러한 모델을 사용할 때 특징 공학(feature engineering)이 거의 필요 없기 때문에, PLMs는 NLP 작업의 표준적인 선택지로 자리 잡고 있다. 그러나 금융, 법률, 산업 등 특정 도메인의 텍스트 코퍼스에 대해서는, 특정 작업에 맞춰 사전 훈련된 모델을 미세 조정(fine-tuning)하는 것이 성능 향상에 기여함이 입증되었다. 본 논문에서는 네 가지 다른 PLMs의 성능을 세 개의 공개 도메인 무관 데이터셋과 실제 도메인 특화 단어를 포함한 실세계 데이터셋에서, TF-IDF 벡터화된 텍스트를 사용한 단순한 선형 SVM 분류기와 비교하였다. 네 개의 데이터셋에 대한 실험 결과, 사전 훈련된 모델을 미세 조정한 경우조차도 선형 SVM 분류기보다 유의미한 성능 향상을 제공하지 못하는 것으로 나타났다. 따라서 본 연구는 텍스트 분류 작업에 있어서, 전통적인 선형 SVM과 신중한 특징 공학을 활용하는 것이 PLMs보다 더 저렴하면서도 우수한 성능을 제공할 수 있음을 제안한다.