11 天前

与记忆相关的差异学习

Yi Luo, Aiguo Chen, Bei Hui, Ke Yan
与记忆相关的差异学习
摘要

传统的监督学习方法主要关注从输入特征到输出标签的映射关系。在训练完成后,仅依靠已学习的模型对测试特征进行独立预测,而忽略了训练数据本身及其内在关联,导致训练数据资源被浪费。为了充分挖掘海量训练数据及其潜在关联,我们提出一种新型学习范式——记忆关联差分学习(Memory-Associated Differential, MAD)学习。我们首先引入一个称为“记忆”(Memory)的附加组件,用于存储全部训练数据。随后,结合微分方程与若干采样方法,学习标签之间的差异性以及特征之间的关联关系。在推理阶段,我们通过几何上有意义的方式,基于记忆中存储的事实,结合所学习到的差异与关联,对未知标签进行预测。我们首先在单变量场景下构建该理论框架,并将其应用于图像识别任务;随后进一步拓展至双变量场景下的链接预测任务。在ogbl-ddi数据集上的实验结果表明,我们的方法显著优于当前先进的主流基线模型。

与记忆相关的差异学习 | 最新论文 | HyperAI超神经