2달 전

타겟 감성 분류를 위한 주의 인코더 네트워크

Youwei Song; Jiahai Wang; Tao Jiang; Zhiyue Liu; Yanghui Rao
타겟 감성 분류를 위한 주의 인코더 네트워크
초록

타겟 감성 분류는 특정 대상에 대한 감성 경향을 결정하는 것을 목표로 합니다. 이전의 대부분 접근 방식은 RNN(재귀 신경망)과 어텐션 메커니즘을 사용하여 문맥과 타겟 단어를 모델링하였습니다. 그러나 RNN은 병렬 처리가 어렵고, 시간 절단된 역전파를 통해 장기적인 패턴을 기억하는 데 어려움이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 재귀를 배제하고 문맥과 타겟 간의 관계를 어텐션 기반 인코더로 모델링하는 어텐셔널 인코더 네트워크(AEN, Attentional Encoder Network)를 제안합니다. 또한, 라벨 불확실성 문제를 제기하고 라벨 스무딩 정규화를 도입하였습니다. 우리는 이 작업에 사전 학습된 BERT(Bidirectional Encoder Representations from Transformers)를 적용하여 새로운 최신 성능 결과를 얻었습니다. 실험 및 분석을 통해 우리의 모델이 효과적이고 가볍다는 것을 입증하였습니다.