一句话总结

新加坡国立大学的研究人员提出了一种用于密集视频字幕的并行化自回归框架，该框架利用跨时间上不同事件之间的弱局部依赖关系，重构因果依赖图，通过一个潜在全局规划机制实现无损并行解码，该机制学习事件级结构并产生紧凑的 token 来编码全局事件间因果关系，同时自适应地聚合事件级音视频语义；并采用事件分解的并行解码机制，在局部聚焦与全局事件间感知之间取得平衡，从而提升全模态事件定位与字幕生成的效率和性能。

核心贡献

• PadCaptioner 通过利用弱事件间依赖关系来重构密集视频字幕的因果依赖图，实现无损并行解码和更快的推理速度。
• 一个潜在全局规划机制学习事件级结构，并产生紧凑的 token 来编码全局事件间因果关系，自适应地聚合音视频语义以指导结构重构。
• 事件分解的并行解码机制在局部事件连贯性与全局事件间感知之间取得平衡；在全模态基准上的实验表明，解码速度、时间定位字幕准确性以及对其他视频理解任务的泛化能力均得到提升。

引言

密集视频字幕要求同时定位未剪辑视频中的多个事件并生成带有时间定位的描述，这对于具身 agent、视频搜索和多事件生成等任务至关重要。现有的自回归视频大语言模型表现良好，但随着事件数量增长，解码延迟变得难以承受；而基于扩散的并行解码器则无法弥合与自回归方法在性能上的差距，尤其是在视频理解方面。作者提出 PadCaptioner，一个并行化的自回归框架，通过利用弱事件间依赖关系重构 token 依赖图：首先，一个潜在全局规划阶段生成紧凑的事件 token 来协调视频的时间结构，然后，事件条件下的子链在事件间并行解码，同时在每个事件内保持顺序生成。这带来了 3.8 倍的加速和最先进的定位与字幕准确率，并对其他时间定位的全模态任务展现出强大的泛化能力。

方法

作者首先概述了标准的 Omni-LLM 架构，该架构由模态特定的编码器和一个 LLM 解码器组成。给定一段带有同步音频的视频，视觉和音频流被编码为 token 序列。为保持时间对齐，视频根据视觉帧采样间隔被划分为多个片段，每个片段对应一个采样帧及其时间对齐的音频跨度。同一片段内的 token 被分组为多模态块，形成一个序列，与文本指令嵌入拼接后作为 LLM 解码器的前缀。模型随后以自回归方式生成输出 token： $L_i \sim \mathbb{P}(L_i \mid P, L_{<i})$Li​∼P(Li​∣P,L<i​) 其中每个生成的 token 从 LLM 解码器产生的分布中采样，条件为前缀输入和所有先前生成的 token。

作者认为，现有框架中严格串行的依赖链并非对每个 token 都同样必要，具有弱依赖关系的 token 可以并行生成而不牺牲性能。视频内容天然地组织为时间上不同的事件，这为依赖关系分解提供了自然的结构基础。细粒度的语义交互通常集中在事件边界内，而跨事件关系主要由更高层次的全局语义所支配。因此，在跨事件的情况下强制实施细粒度的 token 级因果依赖会引入冗余的串行化。基于这一观察，作者提出了一种并行化的自回归框架，通过重构依赖图来实现高效的并行生成，同时保持时间定位字幕的质量。

如下图所示：

该框架包含两个核心组件：一个潜在全局规划机制，用于发现有效的事件级结构以指导依赖关系重新表述并聚合以事件为中心的音视频语义；以及一种并行化解码策略，用于平衡局部语义连贯性与全局结构感知。

在潜在全局规划阶段，以多模态前缀为条件，模型自回归地生成一系列全局事件 token。每个 token 旨在将时间上连贯的事件编码为潜在空间中的紧凑语义表示。事件数量并非预定义，而是自适应推断，使模型能够捕捉每个视频的内在时间结构。在技术实现上，潜在全局 token 通过在词汇表中引入一个特殊 token 来实现。为确保规划的事件级抽象为后续并行解码提供结构有效且语义充分的锚点，作者引入了显式的事件定位约束和自适应语义聚合。定位约束将每个生成的全局事件 token 的表示与其对应真实时间片段内的多模态前缀特征对齐，同时抑制与该区间外特征的相似性。形式上，优化以下目标： $\mathcal{L}_{\mathrm{gnd}}^{G^i} = \frac{1}{T} \sum_{t=1}^{T} \mathrm{BCE}(y_t^i, \mathrm{sim}_t^i)$LgndGi​=T1​∑t=1T​BCE(yti​,simti​) 其中 BCE 表示二元交叉熵损失，二元指示符指定某个时间片段是否位于真实事件区间内。对于语义聚合，作者探索了三种策略：通过均值池化进行均匀聚合、通过轻量级可学习评分头进行自适应聚合、以及基于文本查询 token 与多模态 token 之间注意力图的注意力引导聚合。

在规划阶段生成的全局协调事件 token 的引导下，作者将原本完全串行的 token 依赖关系重新表述为结构化的、事件分解的依赖图。他们不再将字幕生成建模为所有 token 上的单一因果链，而是将其分解为多个弱耦合的、事件条件的子链，从而使不同的子链可以并行解码。在每个解码步骤中，所有事件分支的局部 token 在以下条件分布下同时解码： $\{L_j^i\}_{i=1}^K \sim \mathbb{P}(\{L_j^i\}_{i=1}^K \mid P, G^{1:K}, \{G^i, L_{<j}^i\}_{i=1}^K)${Lji​}i=1K​∼P({Lji​}i=1K​∣P,G1:K,{Gi,L<ji​}i=1K​) 其中共享的多模态前缀和全局事件 token 编码了全局事件间结构。尽管采用了事件级并行解码范式，该方法在每个子链内保留了自回归特性，以保持强大的局部语义连贯性。

解码策略对比参见：

基于重构的依赖图，作者推导了一种修改后的因果注意力方案，以实现结构化并行解码。在局部生成过程中，每个 token 允许关注共享的多模态前缀和所有全局事件 token，以确保全局事件间感知，同时关注事件锚点 token 和同一分支内先前生成的局部 token，以保持强大的事件内自回归特性。与此同时，来自不同事件子链的 token 被显式地屏蔽，彼此之间不能关注，从而消除了不必要的跨事件依赖。为了适应不同子链响应长度的固有变化，同时保持同步并行解码，作者修改了位置编码方案，使得不同子链在同一解码步骤的 token 共享相同的位置索引。这种设计允许子链在生成结束序列 token 时独立终止，而不会影响其他活跃分支。在训练过程中，对于长度短于最大长度的子链，采用基于填充的对齐策略，以鼓励每个子链及时终止。

实验

实验评估了 PadCaptioner（一个微调的 3B 全模态模型）在密集视频字幕基准（LongVALE、ChronusAV、YouCook2）以及其他时间定位任务上的表现，以评估其准确性和泛化能力。该模型始终优于先前最先进的方法，同时由于并行解码策略，解码速度显著加快。消融研究验证了潜在事件规划、事件分解注意力以及自适应语义聚合均有助于改善事件定位、生成更丰富的字幕并提高效率，定性结果也证实了模型利用音视频线索进行连贯事件分割和描述的能力。

PadCaptioner 是一个仅用 12K 视频训练的 3B 模型，在密集视频字幕基准 LongVALE 和 ChronusAV 上取得了新的最先进性能。它在所有指标上均优于更大的模型，包括 7B ChronusOmni 和 30B Qwen3‑Omni，在事件定位和字幕质量方面提升尤为显著。结果凸显了准确性与参数效率之间的有效平衡。PadCaptioner（3B）在 LongVALE 和 ChronusAV 上获得最高分，以明显优势超越所有先前方法。在 LongVALE 上，其事件定位 F1 分数比最佳先前模型提升了 6.7%，字幕质量 Sim 分数提升了 6.1%。尽管是 3B 模型且训练预算较小，它仍优于更大的 7B 和 30B 模型，展示了准确性和参数效率。

PadCaptioner 这款 3B 模型在两个密集视频字幕基准上均大幅超越 7B ChronusOmni，同时整体解码速度提升约 3.7 倍，每 token 解码速度提升约 3 倍。与轻量级的 3B 基线相比，PadCaptioner 在提供更高字幕质量的同时，每 token 延迟更低，但其视频整体解码时间更长，这是因为它生成了信息更丰富的字幕。在 LongVALE 和 ChronusAV 上，PadCaptioner 的 F1 和 Sim 分数均优于 7B ChronusOmni，同时每 token 解码延迟降低至三分之一。当按生成 token 数归一化后，PadCaptioner 比 video-SALMONN-2+ 基线更快，并且生成的字幕更具表现力，体现在更高的评估分数上。

在以视觉为主的密集视频字幕基准 YouCook2 上，3B PadCaptioner 模型在零样本设定下，所有评估指标均取得新的最先进结果，超过了所有先前方法，包括大得多的 7B 级别模型。其较高的 CIDEr 和 SODA_c 分数表明，在没有任务特定微调的情况下，也能生成高质量、描述性的字幕。PadCaptioner（3B）在零样本推理下，在 F1、CIDEr 和 SODA_c 上超越了所有先前的模型，包括 7B 级别的模型。它将 CIDEr 提升至 31.7，SODA_c 提升至 8.2，大幅优于之前最佳的全模态模型 ChronusOmni（7B），后者 CIDEr 为 27.3，SODA_c 为 6.8。

在 Long-VALE 基准上，PadCaptioner 在 Omni-TVG 时间定位和 Omni-SC 片段字幕两项任务上均优于所有先前的 7B 参数模型，取得了最高的 mIoU 和最佳字幕指标。在这两项截然不同的任务上持续取得提升，表明其对于密集视频字幕之外的各种时间定位音视频场景具有很强的泛化能力。PadCaptioner（3B）在 Omni-TVG 上达到 45.7 mIoU，比次优的 7B 模型 ChronusOmni 高出超过 11 个点。对于 Omni-SC，PadCaptioner 在所有对比方法中获得了最高的 BLEU-4、ROUGE-L 和 CIDEr 分数，并伴有最佳的片段级 mIoU。

在 ChronusAV 基准上，ARC-HY-Video 的检索性能远超所有其他 7B 模型，而其字幕得分与领先方法相比仍具有竞争力。结果显示检索优势明显，但未能转化为字幕指标的提升，其他模型在 BLEU、ROUGE、METEOR 和 CIDEr 分数上往往更高。ARC-HY-Video 在视频到文本和文本到视频两项任务上的检索准确率（[email protected]）均比次优模型高出三倍以上。在字幕指标上，LongVALE-LLM 和 Qwen2.5-Omni 经常优于 ARC-HY-Video，其中 LongVALE-LLM 在 V2T CIDEr 和 T2A ROUGE-L 上领先，而 Qwen2.5-Omni 在 T2V BLEU-4 上得分最高。

PadCaptioner 是一个仅用 12K 视频训练的 3B 模型，在密集视频字幕基准（LongVALE、ChronusAV、YouCook2）以及 Omni-TVG 和 Omni-SC 等时间定位任务上与更大的模型进行对比评估。它在字幕质量、事件定位和解码速度方面均持续取得新的最先进结果，超越了 7B 和 30B 的竞争对手，从而展现出强大的参数效率。相比之下，另一个模型（ARC-HY-Video）在 ChronusAV 上显示出巨大的检索优势，但在字幕得分上未能达到其他模型的领先水平。