16일 전

강한 증분형 구성 구문 분석을 위한 그래프 신경망

Kaiyu Yang, Jia Deng
강한 증분형 구성 구문 분석을 위한 그래프 신경망
초록

문장의 구문 구조를 구문 트리로 분석하는 것은 자연어 처리(NLP)의 하류 응용 분야에 많은 이점을 제공한다. 전이 기반 파서는 상태 전이 시스템 내에서 행동을 실행함으로써 트리를 구축한다. 이러한 파서는 계산적으로 효율적이며, 부분 트리에 기반해 머신러닝을 활용하여 다음 행동을 예측할 수 있다. 그러나 기존의 전이 기반 파서는 주로 시프트-리듀스 전이 시스템에 기반하고 있는데, 이는 인간이 문장을 해석하는 방식과 일치하지 않는다. 심리언어학 연구에 따르면 인간의 문장 해석은 강하게 점진적(incremental)이다. 즉, 인간은 각 단계에서 정확히 하나의 토큰만을 추가하면서 하나의 구문 트리를 점진적으로 확장한다. 본 논문에서는 이러한 인간의 해석 방식에 더 부합하는 새로운 전이 시스템인 'attach-juxtapose'를 제안한다. 이 시스템은 강하게 점진적이며, 부분 문장을 단일 트리로 표현하며, 각 행동은 정확히 하나의 토큰을 부분 트리에 추가한다. 본 전이 시스템을 기반으로 강하게 점진적인 파서를 개발하였으며, 각 단계에서 그래프 신경망을 사용해 부분 트리를 인코딩하고 다음 행동을 예측한다. 제안한 파서는 Penn Treebank(PTB)와 중국어 트리뱅크(CTB)에서 평가되었다. PTB에서 기존의 구성 트리만을 사용해 학습된 파서들을 모두 능가하며, 추가로 의존성 트리 데이터를 활용한 최첨단 파서들과 비견되는 성능을 보였다. CTB에서는 새로운 최고 성능을 기록하였다. 코드는 https://github.com/princeton-vl/attach-juxtapose-parser 에서 제공된다.