HyperAIHyperAI

Command Palette

Search for a command to run...

神经序列标注模型中的字符关注机制

Marek Rei Gamal K.O. Crichton Sampo Pyysalo

摘要

序列标注架构使用词嵌入来捕捉相似性,但在处理先前未见过或罕见的词时表现不佳。我们研究了此类模型在字符层面的扩展,并提出了一种新的架构来结合不同的词表示方法。通过使用注意力机制,该模型能够动态决定从词级或字符级组件中使用多少信息。我们在多个序列标注数据集上评估了不同的架构,结果表明,字符层面的扩展在每个基准测试中都提高了性能。此外,所提出的基于注意力机制的架构即使在可训练参数较少的情况下也能取得最佳结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
神经序列标注模型中的字符关注机制 | 论文 | HyperAI超神经