HyperAIHyperAI

Command Palette

Search for a command to run...

最大贝叶斯 Smatch 集成蒸馏用于 AMR 解析

Young-Suk Lee Ramon Fernandez Astudillo Thanh Lam Hoang Tahira Naseem Radu Florian Salim Roukos

摘要

在过去三年中,AMR(抽象 meaning representation)解析技术取得了前所未有的性能提升,这一进步得益于架构优化与迁移学习等多种因素的共同作用。自学习技术也在推动性能提升方面发挥了重要作用。然而,对于大多数近期表现优异的解析器而言,自学习机制以及银色数据增强(silver data augmentation)的效果似乎已趋于饱和,呈现出边际效益递减的趋势。本文提出一种新方法,通过结合基于Smatch的集成技术与集成蒸馏(ensemble distillation),以克服银色数据增强效果减弱的问题。在广泛的实验设置下,我们显著提升了单模型在英文AMR解析上的性能,达到新的最先进水平:AMR2.0数据集上为85.9,AMR3.0数据集上为84.3,并重新实现了银色数据增强带来的显著收益。此外,我们在中文、德语、意大利语和西班牙语的跨语言AMR解析任务中也取得了新的最先进成果。最后,我们进一步探讨了该方法在领域自适应任务中的影响,结果表明,其性能提升可媲美人工标注数据,在QALD-9任务中表现出色,并在BioAMR任务上实现了新的最先进水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供