一句话总结

NJU 等人提出了 VideoJev，这是一个 System One 模型系列，以共享头对时间区间和文本选项打分，替代自回归解码，统一时间定位和多项选择视频问答；它采用缓存（Cached）推理和联合（Joint）推理实现高效视觉复用，在骨干模型上取得 6.7 至 10.8 个点的 mIoU 提升，时间定位的实测加速为 2.8 到 3.1 倍，视频问答超过 100 倍。

核心贡献

• VideoJev 引入了一系列视频 System One 模型，将预训练多模态大语言模型中的自回归答案解码替换为用于时间区间和文本选项的共享打分头，把时间定位和多项选择视频问答统一为直接候选打分。
• 这些模型通过针对陆续到达查询的缓存（Cached）推理和针对同时处理多个查询的联合（Joint）推理，在重复查询中复用视觉计算，支持对同一视觉历史进行高效结构化判断。
• 在三个时间定位基准和四个视频问答基准上，VideoJev-4B 和 VideoJev-35B-A3B 的平均 mIoU 分别比骨干模型提高 6.7 和 10.8 个点，时间定位推理加速 2.8 至 3.1 倍；在 Thinking 模式下，视频问答性能与骨干模型相当，加速超过 100 倍。

引言

面向 agent 的视频理解需要在共享视觉历史之上及时做出结构化决策，例如在选择下一步烹饪操作之前确认某种食材是否已经加入。先前工作提供了互补但不完整的优势：判别式视觉模型预测高效，但通常是任务特定的或绑定固定标签空间；视频多模态大语言模型提供灵活的语义理解，但即使是时间边界或多选答案等紧凑输出，也依赖自回归生成。作者引入 VideoJev，这是一个视频 System One 模型系列，通过直接候选打分统一时间定位和多项选择视频问答。它通过缓存推理处理到达查询、通过联合推理处理批量查询，实现视觉计算复用；作者还评估了稠密 4B 和混合专家 35B-A3B 模型，在七个基准上报告了更好的定位和问答性能，以及显著的推理加速。

方法

作者提出 VideoJev，一个统一的视频决策框架，在预训练多模态表示之上使用共享头对时间区间和文本选项进行打分。如下图所示，该架构在带因果语言骨干和原生视频输入的预训练多模态大语言模型基础上进行适配。

为了利用 pre-MLP 特征所支持的语义相似性，作者移除了最终 MLP，并将语言模型输出头替换为候选打分器。他们引入了两个新 token <|option_end|> 和 <|decide|>，分别提供候选读出和查询级决策读出。两个 token 均从预训练的 <|im_end|> 嵌入初始化。独立的线性投影将它们的隐藏状态映射到 512 维并归一化到单位长度：

$$u = \frac{W_q h_d + b_q}{\|W_q h_d + b_q\|_2}, \quad v_i = \frac{W_k h_i + b_k}{\|W_k h_i + b_k\|_2}, \quad s_i = 10 u^\top v_i + b$$u=∥Wq​hd​+bq​∥2​Wq​hd​+bq​​,vi​=∥Wk​hi​+bk​∥2​Wk​hi​+bk​​,si​=10u⊤vi​+b

其中 $h_d$hd​ 和 $h_i$hi​ 分别是决策状态和候选状态，$W_q, W_k, b_q, b_k$Wq​,Wk​,bq​,bk​ 是可学习的投影参数，$\|\cdot\|_2$∥⋅∥2​ 是欧几里得范数。归一化相似度得到 logit $s_i$si​，再乘以固定因子 10 并加上可学习的标量偏置 $b$b。

给定视频 $V$V、语言查询 $q$q 和 $K$K 个候选 $C = \{c_1, \ldots, c_K\}$C={c1​,…,cK​}，模型先放置视频 token，再接任务指令、查询和候选列表。每个候选以 <|option_end|> 结尾，列表以 <|decide|> 结尾。因果建模使候选读出能够利用视频、查询和前面的候选，而决策读出处理完整列表。对于时间定位，候选是标识帧对区间的时间戳文本，其 sigmoid 分数表示事件隶属度，用于解码连续区间。对于多项选择视频问答，候选是答案文本，softmax 将 logit 归一化为概率，以选择得分最高的选项。

为了优化计算效率，作者设计了可复用的视频计算。由于因果建模使视频前缀与后续查询无关，其计算可以被共享。在缓存（Cached）推理中，视频只编码和预填充一次，每个到达的查询从缓存前缀分支。在联合（Joint）推理中，多个查询及其候选列表跟随同一个视频前缀，每个查询有独立的 <|decide|> 读出，从而一次因果语言模型前向传播即可得到所有查询分数。

对于时间定位，时间轴被划分为 $K$K 个候选区间。作者训练局部隶属度和覆盖监督，以识别相关区间并整体覆盖事件。他们使用多标签二元交叉熵对每个候选进行独立监督：

$$\mathcal{L}_{\mathrm{BCE}} = - \frac{1}{K} \sum_{i=1}^{K} \left[ y_i \log p_i + (1 - y_i) \log (1 - p_i) \right]$$LBCE​=−K1​i=1∑K​[yi​logpi​+(1−yi​)log(1−pi​)]

其中 $y_i$yi​ 是真实标签，$p_i = \sigma(s_i)$pi​=σ(si​) 是隶属概率。为了直接奖励事件覆盖，他们在正区间上加入 soft Intersection-over-Union 损失：

$$\mathcal{L}_{\mathrm{IoU}} = 1 - \frac{\sum_i d_i p_i y_i}{\sum_i d_i [y_i + p_i (1 - y_i)]}$$LIoU​=1−∑i​di​[yi​+pi​(1−yi​)]∑i​di​pi​yi​​

其中 $d_i$di​ 是区间时长。为了从区间分数解码连续事件区间，作者用概率阈值 $\tau$τ 调整 logit，并使用 Kadane 算法在 $O(K)$O(K) 时间内选择总和最大的非空连续范围：

$$(a^\star, b^\star) = \arg\max_{1 \leq a \leq b \leq K} \sum_{i=a}^{b} \left[ s_i - \log \frac{\tau}{1 - \tau} \right]$$(a⋆,b⋆)=arg1≤a≤b≤Kmax​i=a∑b​[si​−log1−ττ​]

对于多项选择视频问答，共享头为每个选项赋予 logit $s_i$si​。由于只有一个答案正确，作者用 softmax 对 logit 进行归一化，并用交叉熵进行训练：

$$p_i = \frac{\exp(s_i)}{\sum_{j=1}^{K} \exp(s_j)}, \qquad \mathcal{L}_{\mathrm{CE}} = - \log p_y$$pi​=∑j=1K​exp(sj​)exp(si​)​,LCE​=−logpy​

其中 $y$y 是正确选项的索引。为了减少位置偏差，对每个符合条件的训练问题施加与答案无关的可复现排列。

训练流程采用两阶段过程。在第一阶段，作者仅在 30% 的视频上针对固定的预训练特征训练新打分器，保持骨干网络和新的标记嵌入冻结。定位和问答目标分别是二元交叉熵和交叉熵损失。在第二阶段，他们在其余 70% 的视频上训练语言骨干网络、标记嵌入和对齐头。定位目标加入 Soft IoU 损失以提供事件级覆盖监督，而问答目标保持交叉熵损失。任务损失在问题上等权平均，视觉编码器和融合模块始终保持冻结。

实验

实验在视频时间定位和多项选择视频问答上评估 VideoJev，覆盖 Charades-STA、ActivityNet Captions、QVHighlights、LVBench、Video-MME、LongVideoBench 和 MLVU 等基准。与生成式基线相比，VideoJev 提高了定位准确率和定位精度，同时降低了推理延迟；与指令微调骨干模型相比，它也提高了 QA 分数，并以远高于推理模型的速度保持竞争力。消融实验确认，这些提升来自架构读出方式，而不仅仅是数据；联合推理以及定位与问答联合训练是有益的；辅助 Soft IoU 监督对定位和问答都有帮助。进一步分析表明，大量查询联合打分的扩展效率良好，模型置信度与准确率趋势一致，但倾向于过度自信。

VideoJev 模型在生成式和 TimeLens 风格基线上报告了一致的时间定位提升，提升集中在更严格的 IoU 阈值上。打分架构在开源定位系统中实测延迟最低，并且相对生成式骨干模型有数倍加速。从 4B 模型扩展到 35B-A3B 模型只带来小幅质量提升和适度的延迟增加。VideoJev 在更严格的 IoU 阈值下相对其生成式骨干和 TimeLens 风格基线提高了平均 mIoU 和 R1。更大的 VideoJev 模型带来小幅平均 mIoU 提升，实测延迟仅适度增加。VideoJev 模型比其生成式骨干快数倍，并且在开源定位模型中延迟最低。在所列开源稠密基线中，Qwen3-VL-4B 在所有三个定位数据集上都优于 Molmo2-4B。

在多项选择视频问答上，VideoJev 模型始终优于其 instruct 骨干模型，在每个评估基准上都有提升，LVBench 结果尤其突出。直接打分与显式推理模型相比具有竞争力，在 LVBench 和 LongVideoBench 上超过后者，在 Video-MME 和 MLVU 上落后，同时大幅降低延迟。候选置信度与准确率趋势一致，表明选择性信任或升级是可行的。VideoJev-4B 和 VideoJev-35B-A3B 在四个基准平均分上相对于 instruct 骨干模型有所提升，并且在所有 QA 基准上均有改善。两个 VideoJev 变体在 LVBench 上领先各自的开源组，MoE 模型取得最高的组内平均分。直接打分在 LVBench 和 LongVideoBench 上达到或超过推理对照模型，而推理模型在 Video-MME 和 MLVU 上仍保持优势。相对于 thinking 基线的实测加速约为两个数量级。更高的选项概率与更高的准确率相关，从而使高置信度预测更可靠。

在相同的后训练数据上微调时，VideoJev-4B 的平均时间定位和视频问答分数高于自回归 Qwen3.5-4B 对照组。对照组仅在 Charades 时间定位上领先，而 VideoJev-4B 在 QVHighlights、LongVideoBench 和 MLVU 上优势最明显。匹配的数据和训练计划支持直接监督结构化决策带来的架构收益。在相同训练数据和计划下，VideoJev-4B 相对于自回归对照组提高了平均定位和问答性能。自回归对照组在 QVHighlights、LongVideoBench 和 MLVU 上落后最多，唯一的时间定位领先在 Charades。

在时间定位和视频问答上，两种 VideoJev 模型规模的联合推理通常优于缓存推理，在 14 个模型-基准比较中有 13 个得到改善。唯一的例外是较大模型在 QVHighlights 上缓存推理略有优势。效率测量表明，随着查询数量增加，这些质量提升仅带来很小的边际成本。对于 4B 和 35B-A3B 模型，联合推理在平均定位和问答分数上均优于缓存推理。收益范围很广，14 个模型-基准比较中有 13 个偏向联合推理，只有较大模型在 QVHighlights 上存在一个轻微的缓存推理优势。

VideoJev-4B 在时间定位和视频问答上的联合训练，相对于单独训练任一任务，改善了这两个任务族。时间定位性能在所有三个定位基准上都有提升，QA 性能在所有四个 QA 基准上都有提升。结果表明这两个任务相互增强而非相互干扰。联合训练在每个定位和问答基准上都优于单任务训练。视频问答比时间定位受益更大，LongVideoBench 上的 QA 提升最大。

VideoJev 在时间定位和多项选择视频问答上，与生成式、TimeLens 风格和自回归基线进行了评估。直接结构化打分在更严格的 IoU 阈值下带来一致的定位提升和更低延迟，相对指令骨干模型改善视频问答，并让置信度与准确率趋势一致；与使用匹配数据训练的自回归对照组相比，也显示出架构收益。联合训练和联合推理进一步改善这两个任务族，从 4B 扩展到 35B-A3B 模型只带来适度提升。