HyperAIHyperAI

Command Palette

Search for a command to run...

Transformer中跨层参数共享的启示

Sho Takase Shun Kiyono

摘要

我们提出了一种针对Transformer模型(Vaswani等,2017)的参数共享方法。该方法放宽了广泛采用的技术——即在所有层之间共享同一组参数(如通用Transformer,Dehghani等,2019)——以提升计算效率。为此,我们提出了三种参数分配策略:序列(Sequence)、循环(Cycle)以及反向循环(Cycle (rev)),用于为每一层分配参数。实验结果表明,所提出的策略在参数量和计算时间方面均具有较高的效率。此外,我们还验证了在使用大量训练数据(如近期WMT竞赛所采用的数据规模)的配置下,该方法同样表现出良好的有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供