摘要
本文介绍了LLaVA-Scissor，这是一种专为视频多模态大语言模型设计的无训练令牌压缩策略。以往的方法大多尝试根据注意力分数来压缩令牌，但未能有效捕捉所有语义区域，且常常导致令牌冗余。相比之下，我们提出利用语义连通分量（Semantic Connected Components, SCC）方法，该方法将令牌分配到令牌集内的不同语义区域，确保全面的语义覆盖。这一方法的结果是一种两步时空令牌压缩策略，在空间域和时间域均采用了SCC。该策略可以通过一组非重叠的语义令牌来表示整个视频，从而有效地压缩令牌。我们在多个视频理解基准上对LLaVA-Scissor的令牌压缩能力进行了广泛的评估，包括视频问答、长视频理解和综合多项选择基准。实验结果表明，所提出的LLaVA-Scissor在各种视频理解基准中优于其他令牌压缩方法，在低令牌保留率下尤其表现出色。项目页面：https://github.com/HumanMLLM/LLaVA-Scissor。