2달 전

주의력을 활용한 그래프 컨볼루션 네트워크를 이용한 조합 범주 문법 슈퍼태깅

Yuanhe Tian; Yan Song; Fei Xia
주의력을 활용한 그래프 컨볼루션 네트워크를 이용한 조합 범주 문법 슈퍼태깅
초록

슈퍼태깅은 조합 범주 문법(CCG) 파싱에서 중요한 작업으로 일반적으로 여겨지며, 이 작업에 있어 맥락 정보의 효과적인 모델링이 매우 중요합니다. 그러나 기존 연구들은 강력한 인코더(예: 양방향 LSTM)를 적용하는 것을 제외하고는 맥락 특성을 활용하기 위한 노력이 제한적이었습니다. 본 논문에서는 새로운 방법으로 맥락 정보를 활용하여 신경망 CCG 슈퍼태깅을 향상시키기 위해 주의 그래프 컨볼루션 네트워크를 제안합니다. 구체적으로, 사전에서 추출된 청크(n-그램)로 그래프를 구성하고, 그래프 위에서 주의 메커니즘을 적용하여 청크 내부와 간의 다양한 단어 쌍들이 모델에서 가중치를 가지도록 하여 슈퍼태깅을 지원합니다. CCGbank에서 수행된 실험 결과, 우리의 접근 방식이 슈퍼태깅과 파싱 모두에서 모든 이전 연구들을 능가한다는 것을 보여주었습니다. 추가 분석을 통해 우리의 접근 방식에서 각 구성 요소가 단어 쌍들로부터 차별적으로 학습하여 CCG 슈퍼태깅을 향상시키는 데 효과적임을 입증하였습니다.