通过学习参数分配实现灵活的多任务网络

本文提出了一种适用于多任务应用的新型学习方法。多任务神经网络通过参数共享机制，能够实现不同任务之间的知识迁移。然而，在无关任务之间共享参数可能会损害模型性能。为解决这一问题，本文提出一种框架，用于学习细粒度的参数共享模式。假设网络由多个跨层组件构成，该框架利用学习得到的二值分配变量，将各组件动态分配给不同任务，从而在相关任务之间促进更充分的参数共享，而在无关任务之间则抑制共享。这些二值分配变量通过Gumbel-Softmax重参数化方法，与模型参数共同采用标准反向传播进行联合优化。在Omniglot基准测试上的实验结果表明，所提方法相较于当前最优方法，实现了17%的相对误差率降低。