HyperAIHyperAI

Command Palette

Search for a command to run...

基于自注意力编码器的句法分析

Nikita Kitaev Dan Klein

摘要

我们证明了用自注意力机制架构替换LSTM编码器可以提升最先进的判别性成分句法分析器的性能。注意力机制明确展示了句子中不同位置之间信息传播的方式,这不仅有助于我们分析模型,还为提出潜在改进提供了依据。例如,我们发现将位置信息和内容信息在编码器中分离可以提高句法分析的准确性。此外,我们评估了不同的词汇表示方法。我们的句法分析器在Penn树库上训练的单个模型中取得了新的最佳结果:在不使用任何外部数据的情况下,F1得分为93.55;而在使用预训练词向量时,F1得分为95.13。我们的句法分析器还在SPMRL数据集中的9种语言中的8种上超过了之前公布的最佳准确率。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供