초록
우리는 LSTM 인코더를 자기 주의(self-attentive) 아키텍처로 대체하면 최신 차별적 구성 요소 파서(discriminative constituency parser)의 성능이 향상될 수 있음을 보여줍니다. 주의 메커니즘을 사용하면 문장 내 다른 위치 간에 정보가 전파되는 방식을 명시적으로 나타낼 수 있으며, 이를 통해 모델을 분석하고 잠재적인 개선점을 제안할 수 있습니다. 예를 들어, 인코더에서 위치 정보와 내용 정보를 분리하면 파싱 정확도가 향상될 수 있다는 것을 발견했습니다. 또한, 우리는 다양한 어휘 표현 방법을 평가하였습니다. 우리의 파서는 Penn Treebank에서 단일 모델로 훈련된 경우 외부 데이터를 사용하지 않고 93.55 F1 점수를 달성하였으며, 사전 학습된 단어 표현(pre-trained word representations)을 사용할 때는 95.13 F1 점수를 기록하였습니다. 또한, 우리의 파서는 SPMRL 데이터셋의 9개 언어 중 8개 언어에서 이전에 발표된 가장 높은 정확도를 초월하였습니다.