HyperAIHyperAI

Command Palette

Search for a command to run...

CommonsenseQA上的人类水平性能:通过外部注意力增强自注意力

Yichong Xu Chenguang Zhu Shuohang Wang Siqi Sun Hao Cheng Xiaodong Liu Jianfeng Gao Pengcheng He Michael Zeng Xuedong Huang

摘要

当今绝大多数人工智能系统依赖于在大规模多样化数据上运行的自注意力机制与Transformer架构,以实现显著的性能提升。本文提出通过引入外部注意力机制来增强Transformer架构,从而将外部知识与上下文信息融入模型之中。通过将外部信息整合到预测过程中,我们旨在降低对不断扩大的模型规模的依赖,并推动人工智能系统的普惠化发展。实验结果表明,所提出的外部注意力机制能够显著提升现有AI系统的性能,使从业者能够轻松地将基础AI模型适配至多种多样的下游应用场景。特别地,本文聚焦于常识推理任务,实证表明该外部注意力机制可有效增强现有Transformer模型,显著提升其推理能力。所提出的系统——面向常识推理的知识增强型外部注意力模型(Knowledgeable External Attention for commonsense Reasoning, KEAR),在开放的CommonsenseQA研究基准上取得了89.4%的准确率,接近人类水平(人类准确率为88.9%),首次实现与人类表现相当的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供