언어학적으로 지도된 자기 주의 메커니즘을 활용한 의미 역할 라벨링

최근의 최첨단 의미역 라벨링(Semantic Role Labeling, SRL)은 명시적인 언어학적 특성을 사용하지 않는 깊은 신경망을 활용하고 있습니다. 그러나 이전 연구에서는 금자탑 문법 트리(gold syntax trees)가 SRL 디코딩을 크게 개선할 수 있음을 보여주었으며, 이는 문법 구조를 명시적으로 모델링함으로써 정확도를 높일 가능성을 시사합니다. 본 연구에서는 언어학적 정보를 통합한 자기 주의 메커니즘(Linguistically-Informed Self-Attention, LISA)을 제시합니다: 종속성 분석(dependency parsing), 품사 태깅(part-of-speech tagging), 술어 감지(predicate detection), 그리고 SRL을 병렬로 학습하는 다중 헤드 자기 주의 메커니즘(multi-head self-attention)과 결합된 신경망 모델입니다. 이전 모델들과 달리 LISA는 언어학적 특성을 준비하기 위해 많은 사전 처리가 필요하지 않으며, 원시 토큰(raw tokens)만으로 입력하여 모든 술어에 대해 동시에 파싱(parsing), 술어 감지(predicate detection), 역할 라벨링(role labeling)을 수행할 수 있습니다. 각 토큰의 문법적 부모(syntactic parents)에 주목하도록 한 주의 메커니즘(attention head)을 훈련시키는 방식으로 문법 구조가 통합됩니다. 또한, 고품질의 문법 분석 결과(high-quality syntactic parse)가 이미 제공되는 경우, 재훈련 없이도 테스트 시간에 유용하게 삽입될 수 있습니다.CoNLL-2005 SRL 데이터셋에서의 실험 결과, LISA는 예측된 술어와 표준 단어 임베딩(standard word embeddings)을 사용하는 모델로서 새로운 최고 성능(new state-of-the-art performance)을 달성하였습니다. 뉴스 기사(newswire)에서 2.5 F1 점수 절대값 상승과 도메인 외 데이터(out-of-domain data)에서 3.5 F1 점수 이상 상승하여 오류율이 거의 10% 감소하였습니다. CoNLL-2012 영어 SRL에서도 LISA는 2.5 F1 점수 이상의 개선 효과를 보였습니다. 또한 맥락 인코딩(contextually-encoded, ELMo) 단어 표현(word representations)을 사용할 때에도 LISA는 뉴스 데이터에서 거의 1.0 F1 점수 상승과 도메인 외 텍스트에서 2.0 F1 점수 이상 상승하며 기존 최고 성능(state-of-the-art)을 능가하였습니다.