11일 전

빠르고 정확한 신경망 CRF 구성 문법 구문 분석

Yu Zhang, Houquan Zhou, Zhenghua Li
빠르고 정확한 신경망 CRF 구성 문법 구문 분석
초록

확률 분포 추정은 자연어 처리(NLP) 분야의 핵심 과제 중 하나이다. 그러나 딥러닝(DL) 시대를 포함한 이전 시기에도, 선형 체인 CRF(Conditional Random Field)가 시퀀스 레이블링 작업에서 널리 활용된 것과 달리, 트리 구조 CRF는 구성 구문 분석(constituency parsing)에 거의 적용되지 않았다. 이는 내부-외부 알고리즘(inside-outside algorithm)의 복잡성과 비효율성 때문이었다. 본 연구는 빠르고 정확한 신경망 기반 CRF 구성 구문 분석기를 제안한다. 핵심 아이디어는 GPU에서 대규모 텐서 연산을 직접 활용하여 내부 알고리즘(inside algorithm)을 배치 처리(batchify)해 손실(loss) 계산을 효율적으로 수행하고, 역전파(back-propagation)를 통해 외부 알고리즘(outside algorithm)을 피하여 기울기(gradient) 계산을 최적화하는 것이다. 또한, 효율성을 추가로 향상시키기 위해 간단한 두 단계 구문 분석 방식인 ‘괄호화 후 레이블링(bracketing-then-labeling)’을 제안한다. 성능 향상을 위해 최근 의존 구문 분석(dependency parsing)의 성과를 영감으로 삼아, 경계 표현(boundary representation)과 이중선형 주의(biaffine attention) 기반의 새로운 점수 계산 아키텍처와 유익한 드롭아웃 전략을 도입하였다. PTB, CTB5.1, CTB7에서의 실험 결과, 본 연구의 두 단계 CRF 분석기는 BERT 미사용(w/o BERT) 및 BERT 사용(w/ BERT) 설정 모두에서 기존 최고 성능을 넘어선 새로운 최고 성능을 달성하였으며, 초당 1,000문장 이상을 분석할 수 있다. 코드는 https://github.com/yzhangcs/crfpar 에 공개한다.

빠르고 정확한 신경망 CRF 구성 문법 구문 분석 | 최신 연구 논문 | HyperAI초신경