摘要
现有的视频字幕生成方法通常需要先从解码后的视频中采样帧，随后再进行一系列后续处理（如特征提取和/或字幕模型训练）。在这一流水线中，人工帧采样可能遗漏视频中的关键信息，从而导致性能下降；同时，采样帧中包含的冗余信息也会降低视频字幕生成在推理阶段的效率。针对上述问题，本文从压缩域的角度重新审视视频字幕生成任务，相较于传统流水线，该方法展现出多重优势：（1）与解码后得到的原始图像相比，压缩视频由I帧、运动矢量和残差组成，具有高度可区分性，通过专门的模型设计，我们能够无需人工采样，直接利用完整视频进行学习；（2）由于处理的数据更小且冗余度更低，字幕生成模型在推理阶段具有更高的效率。为此，我们提出了一种简单而高效的端到端Transformer模型，专用于压缩域的视频字幕生成，实现了直接从压缩视频中学习并生成字幕。实验表明，即使采用简洁的设计，该方法在多个基准测试上均达到了当前最优性能，且推理速度比现有方法快近2倍。代码已开源，地址为：https://github.com/acherstyx/CoCap。