LXMERT 模型压缩用于视觉问答

大规模预训练模型（如LXMERT）在视觉-语言任务中，正日益成为学习文本-图像对跨模态表示的主流方法。根据“彩票猜想”（lottery ticket hypothesis），自然语言处理与计算机视觉模型中包含更小的子网络，这些子网络可独立训练至与原始模型相当的性能。本文结合上述观察，探究在VQA任务微调过程中，LXMERT模型中是否存在此类可独立训练的可训练子网络。此外，我们通过分析模型规模与性能之间的权衡关系，研究在不造成显著精度损失的前提下，模型可被剪枝的程度。实验结果表明，LXMERT模型在保持精度仅下降3%的情况下，可实现40%至60%的模型规模压缩。