DialogXL: 다중 당사자 대화 감정 인식을 위한 통합 XLNet

이 논문은 사전 훈련된 언어 모델을 활용한 대화 내 정서 인식(ERC)에 대한 우리 팀의 선도적인 시도를 제시한다. 일반 문서와 달리 대화의 발화는 서로 다른 당사자들 간에 번갈아 등장하며, 기존 연구에서는 이를 계층적인 구조로 구성하는 경우가 많았다. 그러나 이러한 구조는 XLNet과 같은 사전 훈련된 언어 모델의 적용에 부적합하다. 이 문제를 해결하기 위해, 더 긴 역사적 맥락을 저장할 수 있는 강화된 메모리와 다자 대화 구조를 효과적으로 처리할 수 있는 대화 인식 자기 주의( dialog-aware self-attention)를 갖춘 종합적 XLNet 모델인 DialogXL을 제안한다. 구체적으로, XLNet의 반복 메커니즘을 세그먼트 수준에서 발화 수준으로 개선함으로써 대화 데이터를 보다 정확히 모델링할 수 있도록 하였다. 또한, XLNet에서 사용되는 기존 자기 주의( vanilla self-attention)를 대체하여 대화 인식 자기 주의를 도입함으로써 발화 내 및 발화 간의 유용한 의존 관계를 효과적으로 포착할 수 있도록 하였다. 주류 모델들과의 비교를 위해 네 가지 ERC 기준 데이터셋에서 광범위한 실험을 수행하였으며, 실험 결과 제안한 모델이 모든 데이터셋에서 기존 베이스라인 모델을 모두 상회함을 확인하였다. 또한 아블레이션 스터디와 오류 분석 등을 포함한 추가 실험을 수행하였고, 그 결과 DialogXL의 핵심 모듈들이 실제로 중요한 역할을 수행하고 있음을 확인하였다.