HyperAIHyperAI

Command Palette

Search for a command to run...

NFLAT:用于中文命名实体识别的非平面格变换器

Shuang Wu Xiaoning Song* Member, IEEE Zhen-Hua Feng* Senior Member, IEEE Xiao-Jun Wu Member, IEEE

摘要

近日,Flat-Lattice Transformer(FLAT)在中文命名实体识别(NER)方面取得了显著成功。FLAT通过构建扁平格子进行词汇增强,从而缓解了由模糊的词边界和缺乏词义所带来的问题。在FLAT中,起始字符和结束字符的位置用于连接一个匹配的词。然而,这种方法在处理长文本时可能会匹配更多的词,导致输入序列变长。因此,这显著增加了自注意力模块的内存和计算成本。为了解决这一问题,我们提出了一种新的词汇增强方法——InterFormer,该方法通过构建非扁平格子有效减少了计算和内存成本。此外,以InterFormer为核心,我们实现了用于中文NER的NFLAT模型。NFLAT将词汇融合与上下文特征编码解耦。与FLAT相比,它减少了“字-词”和“词-词”之间的不必要的注意力计算,从而使内存使用量减少约50%,并且可以使用更广泛的词汇表或更大的批次进行网络训练。在多个知名基准数据集上获得的实验结果表明,所提出的方法优于现有的最先进的混合(字-词)模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
NFLAT:用于中文命名实体识别的非平面格变换器 | 论文 | HyperAI超神经