자기회귀 구조 예측을 위한 언어 모델

최근 몇 년간 자연어처리(NLP) 분야는 다양한 작업에 사전 훈련된 언어 모델(PLM)을 활용하는 패러다임 전환을 겪었다. 그러나 PLM이 구조적 정보(예: 태그된 텍스트, 공참조 체인 등)를 효과적으로 포착할 수 있도록 이러한 구조를 표현하는 데는 여전히 많은 설계적 난제가 존재한다. 기존의 PLM을 활용한 구조 예측 연구들은 일반적으로 구조적 출력을 일련의 시퀀스로 평탄화하는 방식을 채택하였으며, 이는 학습되는 구조 정보의 품질을 제한하고, 전통적인 판별 모델에 비해 성능이 떨어지는 결과를 초래한다. 본 연구에서는 PLM을 사용하여 구조를 자동 회귀적 방식으로 작업 시퀀스로 모델링하는 새로운 접근법을 제안한다. 이 방법은 구조 내부의 의존 관계를 손실 없이 학습할 수 있도록 한다. 제안한 방법은 태그된 개체명 인식(NER), 엔드투엔드 관계 추출, 공참조 해결 등 우리가 다룬 모든 구조 예측 작업에서 새로운 최고 성능을 달성하였다.