Piggyback: 重みのマスキングを学習して単一ネットワークを複数のタスクに適応させる方法

本研究提出了一种方法，能够在不影响已学习任务性能的情况下，使单一固定的深度神经网络适应多个任务。通过借鉴网络量化和剪枝的思想，我们学习了二进制掩码，这些掩码可以附加到现有网络上，或者应用于该网络的未修改权重，以在新任务上提供良好的性能。这些掩码以端到端可微分的方式进行学习，并且每个网络参数每任务仅增加1比特的开销。尽管底层网络是固定的，但能够对单个权重进行掩码处理的能力使得大量滤波器的学习成为可能。我们在多种分类任务中展示了与专门微调的网络相当的性能，包括从初始任务（ImageNet）大幅变化的任务以及各种网络架构。与以往的研究不同，我们的方法不会遭受灾难性遗忘或任务之间的竞争问题，并且性能不受任务顺序的影响。代码可在 https://github.com/arunmallya/piggyback 获取。注释：- "catastrophic forgetting" 翻译为「災害的な忘却」。- "task ordering" 翻译为「タスクの順序」。- "end-to-end differentiable" 翻译为「端から端まで微分可能な」。- "binary masks" 翻译为「二進制マスク」。- "network quantization and pruning" 翻译为「ネットワークの量子化と剪枝」。