端到端增量学习

尽管深度学习方法在近年来因其最先进的成果而脱颖而出，但它们仍然面临着灾难性遗忘的问题，即在增量添加新类别进行训练时，整体性能会出现显著下降。这是由于当前神经网络架构需要整个数据集（包括旧类别的所有样本以及新类别的样本）来更新模型，随着类别数量的增加，这一要求变得难以维持。我们通过提出一种增量学习深度神经网络的方法来解决这一问题，该方法仅使用新的数据和一个包含旧类别样本的小型示例集。我们的方法基于一种损失函数，该损失函数由两部分组成：一部分是蒸馏度量（distillation measure），用于保留从旧类别中获得的知识；另一部分是交叉熵损失（cross-entropy loss），用于学习新类别。我们的增量训练在整个框架中实现了端到端的学习，即同时学习数据表示和分类器，这与近期没有此类保证的方法不同。我们在CIFAR-100和ImageNet（ILSVRC 2012）图像分类数据集上对我们的方法进行了广泛评估，并展示了最先进水平的性能。