HyperAIHyperAI

Command Palette

Search for a command to run...

LXMERT 模型压缩用于视觉问答

Maryam Hashemi Ghazaleh Mahmoudi Sara Kodeiri Hadi Sheikhi Sauleh Eetemadi

摘要

大规模预训练模型(如LXMERT)在视觉-语言任务中,正日益成为学习文本-图像对跨模态表示的主流方法。根据“彩票猜想”(lottery ticket hypothesis),自然语言处理与计算机视觉模型中包含更小的子网络,这些子网络可独立训练至与原始模型相当的性能。本文结合上述观察,探究在VQA任务微调过程中,LXMERT模型中是否存在此类可独立训练的可训练子网络。此外,我们通过分析模型规模与性能之间的权衡关系,研究在不造成显著精度损失的前提下,模型可被剪枝的程度。实验结果表明,LXMERT模型在保持精度仅下降3%的情况下,可实现40%至60%的模型规模压缩。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供