基于预训练视觉与语言模型的多模态开放词汇视频分类

利用在大规模图像-文本对上预训练的视觉语言模型（VLMs）已成为开放词汇视觉识别的一种有前景范式。在本工作中，我们通过引入视频中自然存在的运动信息与音频信号，进一步拓展了这一范式。我们提出了一种名为 MOV 的简单而有效的多模态开放词汇视频分类方法，其中 M 代表多模态（Multimodal），O 代表运动（Motion），V 代表开放词汇（Open-Vocabulary）。在 MOV 方法中，我们对预训练 VLMs 中的视觉编码器进行最小修改，直接用于编码视频帧、光流以及音频频谱图。同时，我们设计了一种跨模态融合机制，以有效整合来自不同模态的互补信息。在 Kinetics-700 和 VGGSound 数据集上的实验表明，引入光流或音频模态相较于预训练 VLM 及现有方法均带来了显著的性能提升。具体而言，MOV 在基础类别上显著提高了分类准确率，同时在新类别上的泛化能力也更优。在 UCF 和 HMDB 的零样本视频分类基准测试中，MOV 达到了当前最优性能，显著优于传统零样本方法以及基于 VLM 的最新方法。代码与模型将公开发布。