摘要
这项工作提出了一种方法，可以在不影响已学习任务性能的情况下，使单一固定的深度神经网络适应多个任务。通过借鉴网络量化和剪枝的思想，我们学习了二进制掩码，这些掩码可以附加到现有网络上，或者应用于该网络未修改的权重，以在新任务上提供良好的性能。这些掩码以端到端可微分的方式进行学习，并且每个网络参数每任务仅增加1位的开销。尽管底层网络是固定的，但能够对单个权重进行掩码的能力使得可以学习大量的滤波器。我们在多种分类任务中展示了与专门微调的网络相当的性能，包括从初始任务（ImageNet）有较大领域差异的任务，以及各种网络架构。与以往的工作不同，我们的方法不会遭受灾难性遗忘或任务之间的竞争，并且性能不受任务顺序的影响。代码可在https://github.com/arunmallya/piggyback 获取。