HyperAIHyperAI

Command Palette

Search for a command to run...

NuNER:基于LLM标注数据的实体识别编码器预训练

Sergei Bogdanov; Alexandre Constantin; Timothée Bernard; Benoit Crabbé; Etienne Bernard

摘要

大型语言模型(LLMs)在数据标注方面展示了令人印象深刻的能力,为解决经典自然语言处理(NLP)问题开辟了新的途径。本文中,我们展示了如何利用大型语言模型创建NuNER,这是一种专门用于命名实体识别(NER)任务的紧凑型语言表示模型。NuNER可以通过少量数据进行微调,以高效解决下游的NER问题,在少样本场景下超越了类似规模的基础模型,并且与更大规模的大型语言模型具有竞争力。我们发现,预训练数据集的大小和实体类型的多样性是实现良好性能的关键因素。我们认为NuNER属于由大型语言模型近期解锁的任务特定基础模型大家庭的一员。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供