2달 전
Universal NER: 다국어 명명된 실체 인식의 금준 벤치마크
Stephen Mayhew; Terra Blevins; Shuheng Liu; Marek Šuppa; Hila Gonen; Joseph Marvin Imperial; Börje F. Karlsson; Peiqin Lin; Nikola Ljubešić; LJ Miranda; Barbara Plank; Arij Riabi; Yuval Pinter
초록
우리는 다국어 명명 실체 인식(Named Entity Recognition, NER) 벤치마크를 개발하기 위한 오픈이고 커뮤니티 주도의 프로젝트인 Universal NER (UNER)를 소개합니다. UNER의 주요 목표는 고품질의 다국어 일관성을 갖춘 주석을 제공하여 다국어 NER 연구를 촉진하고 표준화하는 것입니다. UNER v1은 12개 다양한 언어에 걸쳐 다국어 일관성 스키마로 주석이 달린 18개 데이터셋을 포함하고 있습니다. 본 논문에서는 UNER의 데이터셋 생성 및 구성에 대해 자세히 설명하며, 단일 언어 학습과 다국어 학습 환경에서의 초기 모델 기준선도 제공합니다. 우리는 이 데이터, 코드, 그리고 적합된 모델을 공개적으로 배포합니다.