HyperAIHyperAI

Command Palette

Search for a command to run...

基于元学习的自蒸馏知识图谱补全

Yunshui Li Junhao Liu Chengming Li Min Yang

摘要

本文提出了一种基于元学习的自蒸馏框架(MetaSD),用于知识图谱补全任务中的动态剪枝,旨在学习紧凑的图嵌入表示并有效处理长尾样本。具体而言,我们首先提出一种动态剪枝技术,从大型源模型中构建一个小型剪枝模型,其中剪枝掩码可在每轮训练后根据模型权重的更新自适应调整。该剪枝模型被设计为对难以记忆的样本(如长尾样本)具有更强的敏感性,相较于源模型更具判别能力。随后,我们提出一种单步元自蒸馏方法,实现从源模型到剪枝模型的全面知识迁移,使得两个模型在训练过程中以动态协同的方式共同演化。特别地,我们利用在单次迭代中与源模型并行训练的剪枝模型的性能表现,通过元学习机制优化源模型在下一轮迭代中的知识迁移能力。大量实验结果表明,MetaSD在性能上可与强基准方法相媲美,同时模型规模仅为基准方法的十分之一。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供