NuNER: LLM 주석 데이터를 통한 개체 인식 인코더 사전 학습

대형 언어 모델(LLMs)은 데이터 주석에서 뛰어난 능력을 보여주며, 고전적인 자연어 처리(NLP) 문제를 해결하기 위한 새로운 접근 방식을 열었습니다. 본 논문에서는 LLMs를 활용하여 명명된 개체 인식(NER) 작업에 특화된 소형 언어 표현 모델인 NuNER를 생성하는 방법을 설명합니다. NuNER는 데이터 효율적인 방식으로 하류 NER 문제를 미세 조정(fine-tune)할 수 있으며, 소수 샷(few-shot) 환경에서 유사한 크기의 기초 모델들보다 우수한 성능을 보이고 매우 큰 LLM들과 경쟁할 수 있습니다. 우리는 사전 학습 데이터셋의 크기와 개체 유형 다양성이 좋은 성능을 달성하는 데 중요한 역할을 한다는 것을 발견했습니다. 우리는 NuNER를 LLMs에 의해 최근 가능해진 작업 특화 기초 모델들의 광범위한 가족 중 하나로 간주합니다.