11일 전

효율적인 2차 순서 트리CRF를 이용한 신경망 의존 구문 분석

Yu Zhang, Zhenghua Li, Min Zhang
효율적인 2차 순서 트리CRF를 이용한 신경망 의존 구문 분석
초록

딥러닝(DL) 시대에 들어, 다층 BiLSTM이 갖는 뛰어난 문맥 표현 능력 덕분에, 파싱 모델은 성능에 큰 영향을 주지 않으면서도 매우 단순화될 수 있게 되었다. 높은 효율성과 성능으로 가장 널리 사용되는 그래프 기반 의존성 파서인 이중선형(biaffine) 파서는 아크-인수 분해(arc-factorization) 가정 하에서 단일 의존성을 직접 점수화하며, 매우 간단한 로컬 토큰 단위의 크로스엔트로피 학습 손실을 채택한다. 본 논문은 이중선형 파서에 대해 최초로 이차 순서(TreeCRF) 확장을 제안한다. 오랫동안 인사이드-아웃사이드 알고리즘의 복잡성과 비효율성으로 인해 TreeCRF는 널리 보급되지 못했다. 이 문제를 해결하기 위해, 우리는 GPU에서 직접 대규모 행렬 연산을 수행할 수 있도록 인사이드 알고리즘과 비터비(Viterbi) 알고리즘을 효과적으로 배치화(batchify)하는 방법을 제안하며, 복잡한 아웃사이드 알고리즘을 피하기 위해 효율적인 역전파(back-propagation) 기법을 활용한다. 13개 언어에서 수집한 총 27개 데이터셋에 대한 실험과 분석을 통해, 딥러닝 시대 이전에 개발된 기법들—예를 들어 구조적 학습(global TreeCRF 손실) 및 고차 모델링(high-order modeling)—이 여전히 유용하며, 특히 부분적으로 주석이 달린 학습 데이터 상황에서 최첨단 이중선형 파서보다 더 높은 파싱 성능을 달성할 수 있음을 명확히 보여준다. 본 연구의 코드는 https://github.com/yzhangcs/crfpar 에서 공개된다.

효율적인 2차 순서 트리CRF를 이용한 신경망 의존 구문 분석 | 최신 연구 논문 | HyperAI초신경