摘要

视觉令牌在多模态大模型（MLLMs）中消耗大量计算资源，显著影响其效率。近期研究尝试通过在训练过程中压缩视觉令牌来提升效率，方法包括修改模型组件或引入额外参数。然而，这些方法往往忽视了压缩带来的学习难度增加问题：由于令牌压缩导致特征空间发生显著扰动，模型的参数空间难以快速适应这种变化。为此，本文提出通过渐进一致性蒸馏（EPIC）构建高效多模态大模型，这是一种渐进式学习框架。具体而言，我们沿令牌维度和层维度分解由令牌压缩引入的特征空间扰动，分别提出令牌一致性蒸馏与层一致性蒸馏机制，旨在借助教师模型的指导并遵循渐进式学习路径，降低训练难度。大量实验结果表明，所提出的框架在有效性、鲁棒性及泛化能力方面均表现出显著优势。