진보적인 자기 지도 주의 학습을 이용한 측면 수준 감성 분석

문장 수준 감성 분류(Aspect-level Sentiment Classification, ASC)에서 주요 신경망 모델들은 주어진 측면에 대한 각 문맥 단어의 중요성을 얻기 위해 주의 메커니즘(attention mechanisms)을 사용하는 것이 일반적이다. 그러나 이러한 메커니즘은 감성 극성이 있는 몇몇 자주 등장하는 단어에 지나치게 집중하면서 드물게 등장하는 단어들을 무시하는 경향이 있다. 본 논문에서는 신경망 ASC 모델을 위한 점진적인 자기 지도 주의 학습 방법(progressive self-supervised attention learning approach)을 제안한다. 이 방법은 훈련 코퍼스에서 유용한 주의 지도 정보를 자동으로 추출하여 주의 메커니즘을 개선한다. 구체적으로, 모든 훈련 인스턴스에 대해 반복적으로 감성 예측을 수행한다. 특히, 각 반복 과정에서 최대 주의 가중치를 가진 문맥 단어가 해당 인스턴스의 올바른/잘못된 예측에 활성/오도적 영향을 미치는 단어로 추출되며, 이후 반복 과정에서는 해당 단어가 마스크 처리된다. 마지막으로, 기존 훈련 목적 함수에 정규화 항(regularization term)을 추가하여 ASC 모델들이 추출된 활성 문맥 단어들에 계속해서 동등하게 집중하면서 오도적인 단어들의 가중치를 줄일 수 있도록 한다. 여러 데이터셋에서 수행한 실험 결과, 제안된 접근법이 두 가지 최신 신경망 ASC 모델보다 크게 개선되는 것으로 나타났다. 소스 코드와 훈련된 모델은 https://github.com/DeepLearnXMU/PSSAttention에서 확인할 수 있다.