UniversalNER: 대규모 언어 모델로부터의 타깃 드리스틸레이션을 통한 오픈 명명된 엔티티 인식

대규모 언어 모델(Large Language Models, LLMs)은 임의의 실체와 관계를 이해하는 데 있어 놀라운 일반화 능력을 보여왔다. 지시 조정(instruction tuning)은 Alpaca나 Vicuna와 같은 더 비용 효율적인 모델로 LLM을 정제하는 데 효과적임이 입증되었다. 그러나 이러한 학습 모델(student models)은 최종 응용 분야에서 여전히 원본 LLM에 비해 큰 성능 차이를 보이고 있다. 본 논문에서는 임무 중심의 지시 조정을 활용한 타겟형 정제(targeted distillation)를 탐구하여, 오픈 정보 추출과 같은 광범위한 응용 분야에서 뛰어난 성능을 발휘할 수 있는 학습 모델을 개발한다. 사례 연구로 명명된 실체 인식(Named Entity Recognition, NER)을 활용하여, ChatGPT가 어떻게 훨씬 더 작지만 유니버설한 NER 모델인 UniversalNER로 정제될 수 있는지를 보여준다. 평가를 위해, 생물의학, 프로그래밍, 소셜 미디어, 법, 금융 등 9개의 다양한 분야에서 구성된 총 43개의 데이터셋을 포함하는 현재까지 가장 규모가 큰 NER 벤치마크를 구축하였다. 직접적인 지도 학습을 사용하지 않고도 UniversalNER는 수만 개의 실체 유형에 대해 놀라운 NER 정확도를 달성하며, Alpaca나 Vicuna와 같은 일반적인 지시 조정 모델보다 평균적으로 30점 이상의 절대 F1 점수로 우수한 성능을 보였다. 파라미터 수가 극히 적은 크기에도 불구하고, UniversalNER는 ChatGPT가 임의의 실체 유형을 인식하는 능력을 습득할 뿐 아니라, NER 정확도에서도 평균적으로 7~9점의 절대 F1 점수로 ChatGPT를 능가하였다. 특히, 지도 학습을 활용한 NER 예시를 사용하는 최첨단 다중 작업 지시 조정 시스템인 InstructUIE보다도 크게 우수한 성능을 기록하였다. 또한 본 연구에서는 정제 방법의 다양한 구성 요소가 성능에 미치는 영향을 철저히 분석하기 위한 아블레이션 연구를 수행하였다. 본 논문에서는 정제 레시피, 데이터, 그리고 UniversalNER 모델을 공개하여 향후 타겟형 정제 연구의 발전을 촉진하고자 한다.