
확률 분포 추정은 자연어 처리(NLP) 분야의 핵심 과제 중 하나이다. 그러나 딥러닝(DL) 시대를 포함한 이전 시기에도, 선형 체인 CRF(Conditional Random Field)가 시퀀스 레이블링 작업에서 널리 활용된 것과 달리, 트리 구조 CRF는 구성 구문 분석(constituency parsing)에 거의 적용되지 않았다. 이는 내부-외부 알고리즘(inside-outside algorithm)의 복잡성과 비효율성 때문이었다. 본 연구는 빠르고 정확한 신경망 기반 CRF 구성 구문 분석기를 제안한다. 핵심 아이디어는 GPU에서 대규모 텐서 연산을 직접 활용하여 내부 알고리즘(inside algorithm)을 배치 처리(batchify)해 손실(loss) 계산을 효율적으로 수행하고, 역전파(back-propagation)를 통해 외부 알고리즘(outside algorithm)을 피하여 기울기(gradient) 계산을 최적화하는 것이다. 또한, 효율성을 추가로 향상시키기 위해 간단한 두 단계 구문 분석 방식인 ‘괄호화 후 레이블링(bracketing-then-labeling)’을 제안한다. 성능 향상을 위해 최근 의존 구문 분석(dependency parsing)의 성과를 영감으로 삼아, 경계 표현(boundary representation)과 이중선형 주의(biaffine attention) 기반의 새로운 점수 계산 아키텍처와 유익한 드롭아웃 전략을 도입하였다. PTB, CTB5.1, CTB7에서의 실험 결과, 본 연구의 두 단계 CRF 분석기는 BERT 미사용(w/o BERT) 및 BERT 사용(w/ BERT) 설정 모두에서 기존 최고 성능을 넘어선 새로운 최고 성능을 달성하였으며, 초당 1,000문장 이상을 분석할 수 있다. 코드는 https://github.com/yzhangcs/crfpar 에 공개한다.