자기 주의(Self-Attention)의 재고: 신경망 구문 분석에서 해석 가능성으로 향하는 길

주의 메커니즘은 자연어 처리(NLP) 작업의 성능을 향상시키면서도 모델의 해석 가능성을 유지하는 데 기여해 왔다. 현재 자가주의(self-attention)가 널리 사용되고 있지만, 수많은 주의 분포로 인해 해석 가능성은 여전히 어려운 문제로 남아 있다. 최근 연구에서는 레이블에 특화된 정보를 모델 표현에 통합함으로써 예측의 해석을 용이하게 할 수 있음을 보여주었다. 본 연구에서는 주의 헤드가 각각 레이블을 대표하는 새로운 형태의 자가주의인 '레이블 주의 레이어(Label Attention Layer)'를 제안한다. 제안한 레이어를 활용하여 구성 구문 분석(constituency parsing) 및 의존성 분석(dependency parsing) 실험을 수행한 결과, 펜 트리뱅크(PTB) 및 중국 트리뱅크에서 두 작업 모두 새로운 최고 성능(SOTA)을 달성함을 확인하였다. 또한 기존 연구 대비 더 적은 수의 자가주의 레이어를 사용함으로써 모델의 효율성도 향상시켰다. 마지막으로, 레이블 주의 헤드가 문법적 범주 간의 관계를 학습하고 있음을 발견하였으며, 오류 분석을 위한 경로를 제시할 수 있음을 보였다.