깊은 의미 역할 라벨링과 자기 주의 메커니즘

의미 역할 라벨링(Semantic Role Labeling, SRL)은 자연어 이해를 향한 중요한 단계로 여겨져 왔으며, 이는 광범위하게 연구되어 왔습니다. 최근에는 순환 신경망(Recurrent Neural Networks, RNN)을 사용한 end-to-end SRL에 대한 관심이 증가하고 있습니다. 그러나 RNN이 구조적 정보와 장거리 의존성을 처리하는 것은 여전히 주요한 과제입니다. 본 논문에서는 이러한 문제들을 해결하기 위한 간단하면서도 효과적인 아키텍처를 제시합니다. 우리의 모델은 두 토큰 간의 관계를 거리와 상관없이 직접 포착할 수 있는 자기 주의(self-attention) 메커니즘을 기반으로 합니다. 우리의 단일 모델은 CoNLL-2005 공유 작업 데이터셋에서 F$_1=83.4$ 점수를, CoNLL-2012 공유 작업 데이터셋에서는 F$_1=82.7$ 점수를 달성하여 각각 이전 최신 연구 결과보다 1.8과 1.0 F$_1$ 점수를 개선하였습니다. 또한, 우리의 모델은 계산적으로 효율적이며, 단일 Titan X GPU에서 50K 토큰을 초당 파싱할 수 있습니다.