实时视频字幕生成

密集视频字幕生成涉及检测和描述视频序列中的事件。传统方法在离线环境中运行，假设整个视频都可用于分析。相比之下，本研究引入了一种开创性的范式：实时视频字幕生成（Live Video Captioning, LVC），其中需要在线生成视频流的字幕。这一转变带来了独特的挑战，包括处理事件的部分观察以及对动作的时间预测需求。我们正式定义了LVC这一新问题，并提出了专为此在线场景设计的创新评估指标，展示了其相对于传统指标的优势。为了解决LVC的新复杂性，我们提出了一种新的模型，该模型结合了可变形变换器和时间滤波技术，能够在视频流上实现有效的字幕生成。在ActivityNet Captions数据集上的大量实验验证了所提方法的有效性，展示了其在LVC设置下相较于最先进的离线方法的优越性能。为了促进进一步的研究，我们在以下地址提供了模型结果和包含新评估指标的工具包：https://github.com/gramuah/lvc。