다양한 NER 하위 작업을 위한 통합 생성 프레임워크

이름 있는 실체 인식(Named Entity Recognition, NER)은 문장 내 실체를 나타내는 구간(span)을 식별하는 작업이다. 실체 구간이 중첩되거나 비연속적인지 여부에 따라 NER 작업은 평면형 NER, 중첩형 NER, 비연속형 NER의 세 가지 하위 작업으로 분류할 수 있다. 이러한 하위 작업들은 주로 토큰 수준의 시퀀스 레이블링 또는 스팬 수준의 분류 방식으로 해결되어 왔다. 그러나 이러한 기존 접근 방식은 세 가지 NER 하위 작업을 동시에 효과적으로 처리하기 어렵다. 이를 해결하기 위해 우리는 NER 하위 작업을 실체 구간 시퀀스 생성 문제로 재정의하는 새로운 접근법을 제안한다. 이는 통합된 시퀀스-투-시퀀스(Seq2Seq) 프레임워크를 통해 해결할 수 있다. 제안하는 통합 프레임워크를 기반으로, 태깅 스키마의 특수 설계나 스팬을 열거하는 별도의 방법 없이도 사전 훈련된 Seq2Seq 모델을 활용하여 세 가지 종류의 NER 하위 작업을 모두 해결할 수 있다. 본 연구에서는 실체를 일렬로 표현하기 위해 세 가지 유형의 실체 표현 방식을 활용한다. 제안하는 프레임워크는 구현이 간편하며, 평면형 NER 데이터셋 2개, 중첩형 NER 데이터셋 3개, 비연속형 NER 데이터셋 3개를 포함한 총 여덟 개의 영어 NER 데이터셋에서 최첨단(SoTA) 또는 근접 최첨단 성능을 달성하였다.