2 个月前

NAPA-VQ:基于邻域感知的原型增强与向量量化 continual learning 方法

Tamasha Malepathirana; Damith Senanayake; Saman Halgamuge
NAPA-VQ:基于邻域感知的原型增强与向量量化 continual learning 方法
摘要

灾难性遗忘是指在获取新知识时失去旧知识,这是深度神经网络在实际应用中面临的一个难题。许多现有的解决方案依赖于存储示例(先前遇到的数据),但在存在内存限制或隐私约束的应用中,这种方法可能不可行。因此,近期的研究重点转向了无示例类增量学习(Non-Exemplar based Class Incremental Learning, NECIL),在这种方法中,模型可以在不使用任何过去示例的情况下逐步学习新的类别。然而,由于缺乏旧数据,NECIL 方法难以区分旧类和新类,导致它们的特征表示重叠。我们提出了一种名为 NAPA-VQ 的框架:基于邻域感知原型增强与矢量量化(Neighborhood Aware Prototype Augmentation with Vector Quantization),该框架可以减少 NECIL 中的类别重叠问题。我们借鉴了神经气体算法的思想来学习特征空间中的拓扑关系,识别出最有可能混淆的相邻类别。利用这些邻域信息,我们不仅强化了相邻类别之间的分离度,还生成了旧类别的代表性原型,从而更好地帮助获得旧类和新类之间的判别决策边界。我们在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 数据集上进行了全面的实验,结果表明 NAPA-VQ 在准确率方面分别比最先进的 NECIL 方法平均提高了 5%、2% 和 4%,在遗忘率方面分别降低了 10%、3% 和 9%。我们的代码可以在 https://github.com/TamashaM/NAPA-VQ.git 找到。

NAPA-VQ:基于邻域感知的原型增强与向量量化 continual learning 方法 | 最新论文 | HyperAI超神经