HyperAIHyperAI

Command Palette

Search for a command to run...

通过学习参数分配实现灵活的多任务网络

Krzysztof Maziarz Efi Kokiopoulou Andrea Gesmundo Luciano Sbaiz Gabor Bartok Jesse Berent

摘要

本文提出了一种适用于多任务应用的新型学习方法。多任务神经网络通过参数共享机制,能够实现不同任务之间的知识迁移。然而,在无关任务之间共享参数可能会损害模型性能。为解决这一问题,本文提出一种框架,用于学习细粒度的参数共享模式。假设网络由多个跨层组件构成,该框架利用学习得到的二值分配变量,将各组件动态分配给不同任务,从而在相关任务之间促进更充分的参数共享,而在无关任务之间则抑制共享。这些二值分配变量通过Gumbel-Softmax重参数化方法,与模型参数共同采用标准反向传播进行联合优化。在Omniglot基准测试上的实验结果表明,所提方法相较于当前最优方法,实现了17%的相对误差率降低。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供