摘要
给定一个已训练的神经网络，通常希望在不损害已学习性能的情况下学习新的能力。现有的方法要么学习次优解，要么需要联合训练，或者在每个新增领域中参数数量大幅增加，通常与原始网络的参数数量相当。我们提出了一种称为“深度适应网络”（Deep Adaptation Networks, DAN）的方法，该方法限制新学习的滤波器为现有滤波器的线性组合。DAN 精确地保持了在原始领域的性能，相比标准微调过程所需的参数数量减少了很大一部分（通常为 13%，具体取决于网络架构），并且在较少的训练周期内达到可比或更好的性能水平。当与标准网络量化技术结合时，我们进一步将参数成本降低到原始参数量的大约 3%，且几乎不会影响或完全不影响准确性。所学的架构可以被控制以在各种已学习表示之间切换，从而使得单个网络能够解决来自多个不同领域的任务。我们进行了广泛的实验，展示了我们的方法在一系列图像分类任务中的有效性，并探讨了其行为的不同方面。