4달 전
적응하거나 뒤처지기: BERT 언어 모델 미세 조정을 통한 측면-대상 감성 분류의 도메인 적응
Alexander Rietzler; Sebastian Stabinger; Paul Opitz; Stefan Engl

초록
Aspect-Target 감성 분류(ATSC)는 감성 기반 분석(ABSA)의 하위 작업으로, 전자상거래 등 다양한 분야에서 리뷰 데이터와 인사이트를 활용하여 기업과 고객에게 가치를 창출하는 데 많은 응용이 있습니다. 최근에는 심층 전이 학습 방법이 자연어 처리(NLP)의 여러 작업, 특히 ATSC에 성공적으로 적용되었습니다. 주목받는 BERT 언어 모델을 기반으로, 우리는 ATSC를 두 단계 절차로 접근합니다: 자기 지도 도메인 특화 BERT 언어 모델 미세 조정(finetuning), 그리고 지도된 작업 특화 미세 조정입니다. 도메인 특화 언어 모델 미세 조정을 최대한 활용하는 방법에 대한 우리의 연구 결과는 SemEval 2014 Task 4 레스토랑 데이터셋에서 새로운 최고 수준의 성능을 달성할 수 있게 해주었습니다. 또한, 실제 세계에서의 모델의 견고성을 탐구하기 위해 크로스 도메인 평가를 수행했습니다. 우리는 크로스 도메인 적응된 BERT 언어 모델이 베이지선(Baseline) 모델인 일반 BERT-base와 XLNet-base보다 훨씬 우수한 성능을 보임을 입증하였습니다. 마지막으로, 모델 예측 오류를 해석하기 위한 사례 연구를 수행하였습니다.