BERT를 활용한 분리형 어텐션을 이용한 아спект 기반 감성 분석

Aspect-Based Sentiment Analysis (ABSA) 작업은 제품이나 서비스의 다양한 측면에 대한 소비자의 의견을 식별하는 것을 목표로 한다. BERT 기반 언어 모델은 감성 분석과 같은 언어에 대한 깊은 이해가 필요한 응용 분야에서 성공적으로 활용되어 왔다. 본 논문은 ABSA 작업에서 BERT 기반 텍스트 표현을 향상시키기 위해 분리 학습(Disentangled Learning) 기법을 활용하는 방법을 탐구한다. 컴퓨터 비전 분야에서 분리 표현 학습이 데이터 표현의 설명 가능한 요인을 추출하는 데 성공한 것에 영감을 받아, 최근 제안된 DeBERTa 모델(Decoding-enhanced BERT with Disentangled Attention)을 활용하여 BERT 아키텍처로부터 구문적 특징과 의미적 특징을 분리하는 방식을 탐색하였다. 실험 결과, 분리된 어텐션(Disentangled Attention)을 도입하고 하류 작업에 대해 간단한 미세 조정(fine-tuning) 전략을 적용하는 방식이 ABSA의 기준 데이터셋에서 최신 기술(SOTA) 모델들을 능가하는 성능을 보였다.