HyperAIHyperAI

Command Palette

Search for a command to run...

使用注意力图卷积网络进行组合范畴语法的超标记

Yuanhe Tian; Yan Song; Fei Xia

摘要

超标记(Supertagging)通常被视为组合范畴语法(Combinatory Categorical Grammar, CCG)解析中的一个重要任务,其中上下文信息的有效建模对于该任务至关重要。然而,现有的研究在利用上下文特征方面所做的努力有限,除了应用强大的编码器(如双向长短期记忆网络(bi-LSTM))。本文提出了一种基于注意力机制的图卷积网络(Attentive Graph Convolutional Networks),通过一种新颖的方法来利用上下文信息,从而增强神经CCG超标记。具体而言,我们从词汇表中提取短语片段(n-grams)构建图,并在图上应用注意力机制,使得来自不同上下文的词对在模型中被赋予不同的权重,从而有助于超标记任务的进行。实验结果表明,在CCGbank数据集上的测试显示,我们的方法在超标记和解析两个方面均优于所有先前的研究。进一步的分析说明了我们方法中每个组件的有效性,这些组件能够有选择地从词对中学习以增强CCG超标记的效果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供