3달 전

구문이 중요한가? RoBERTa를 활용한 Aspect-based Sentiment Analysis를 위한 강력한 베이스라인

Junqi Dai, Hang Yan, Tianxiang Sun, Pengfei Liu, Xipeng Qiu
구문이 중요한가? RoBERTa를 활용한 Aspect-based Sentiment Analysis를 위한 강력한 베이스라인
초록

기반별 감성 분석(Aspect-based Sentiment Analysis, ABSA)은 특정 요소(Aspect)에 대한 감성 극성(긍정/부정)을 예측하는 세부적인 감성 분석 작업이다. 기존 연구들은 문법적 정보, 예를 들어 의존성 트리(의존성 구문 분석 트리)가 ABSA 성능 향상에 효과적임을 보여왔다. 최근에는 사전 훈련 모델(Pre-trained Models, PTMs)이 ABSA 작업에서 효과적이라는 점도 입증되었다. 이에 따라 자연스럽게 다음과 같은 질문이 제기된다: 사전 훈련 모델은 ABSA 작업에 필요한 충분한 문법적 정보를 내재적으로 포함하고 있는가? 만약 그렇다면, 단지 PTM 기반 모델만으로도 우수한 ABSA 성능을 달성할 수 있을까?본 연구에서는 ABSA 작업에 활용되는 여러 대표적인 모델들에 대해 사전 훈련된 RoBERTa를 미세 조정한 모델(FT-RoBERTa)에서 유도된 트리와 전통적인 의존성 파서가 제공하는 트리를 비교 분석하였다. 그 결과, FT-RoBERTa에서 유도된 트리가 파서 제공 트리보다 우수한 성능을 보임을 확인하였다. 추가적인 분석 실험을 통해 FT-RoBERTa에서 유도된 트리가 감성 단어 중심의 구조를 더 잘 반영하고 있으며, 이는 ABSA 작업에 유리하게 작용함을 밝혔다. 또한, 순수한 RoBERTa 기반 모델이 네 가지 언어에서 여섯 개의 데이터셋에 대해 기존 최고 성능(SOTA) 모델과 경쟁하거나 이를 근접하는 성능을 기록함으로써, 사전 훈련 모델이 임의의 작업 지향적 문법 정보를 내재적으로 포함하고 있음을 실험적으로 입증하였다.

구문이 중요한가? RoBERTa를 활용한 Aspect-based Sentiment Analysis를 위한 강력한 베이스라인 | 연구 논문 | HyperAI초신경