BERT는 감성을 이해하는가? 문맥 기반 및 비문맥 기반 임베딩 간의 비교를 활용하여 아спект 기반 감성 모델 개선하기

문장 내 다양한 단어에 대한 극성 탐지(Polarity Detection)를 수행할 때, 해당 단어 주변의 단어들을 고려하여 감정을 이해해야 합니다. BERT와 같은 대규모 사전 훈련된 언어 모델은 문서 내 단어뿐 아니라 단어 주변의 맥락도 함께 인코딩할 수 있습니다. 이에 따라 다음과 같은 질문이 제기됩니다. "사전 훈련된 언어 모델은 각 단어에 대한 감성 정보도 자동으로 인코딩하는가?" 그리고 "이를 활용하여 다양한 측면에 대한 극성을 추론할 수 있는가?" 본 연구에서는 BERT의 문맥적 임베딩(Contextual Embedding)과 일반적인 단어 임베딩(Generic Word Embedding) 간의 비교를 통해 감성 정보를 추론할 수 있음을 보여줌으로써 이 질문에 답하고자 합니다. 또한, BERT와 일반 단어 임베딩 간의 비교 기반 모델에서 일부 가중치만 미세조정(fine-tune)할 경우, 측면 기반 감성 분류(Aspect-Based Sentiment Classification) 데이터셋에서 최신 기술(SOTA, State-of-the-Art) 수준의 극성 탐지 성능을 달성할 수 있음을 실험적으로 입증하였습니다.