一种用于增量学习的自适应随机路径选择方法

在传统的监督学习设置中，机器学习模型在推理阶段可以访问所有希望识别的对象类别的示例。这导致了一个固定的模型，缺乏适应新学习任务的灵活性。在实际应用中，学习任务通常以序列的形式出现，模型必须不断学习以增加其先前获得的知识。现有的增量学习方法远低于一次性使用所有训练类别的累积模型的最先进水平。本文提出了一种称为自适应随机路径选择网络（Adaptive RPS-Net）的算法，该算法逐步为新任务选择最优路径，同时鼓励任务之间的参数共享。我们引入了一种新的网络容量度量方法，使我们能够在已使用的资源饱和时自动切换路径。由于所提出的路径重用策略确保了前向知识传递，我们的方法不仅高效，而且计算开销显著减少。作为额外的创新点，所提出的模型结合了知识蒸馏和回顾机制与路径选择策略，以克服灾难性遗忘问题。为了保持先前知识和新获取知识之间的平衡，我们提出了一种简单的控制器来动态调整模型的可塑性。通过广泛的实验验证，我们证明了自适应RPS-Net方法在增量学习方面超越了现有最先进技术，并且通过利用并行计算，该方法可以在恒定时间内运行，效率几乎与传统深度卷积神经网络相同。