一句话总结

世宗大学和NAVER Cloud的研究人员提出了Video-Oasis，一个可持续的诊断套件，用于系统性地审计视频理解基准，揭示$55\%$55%的样本无需视觉或时间线索即可解决，在过滤掉这些捷径后，剩余的视频原生挑战暴露了巨大的能力差距，最先进的Video-LLM仅略高于随机水平，从而提供了一个精炼的测试平台，用于评估稳健的视频理解。

核心贡献

• Video-Oasis作为一个诊断套件被引入，通过视觉-时间解耦测试、跨模型共识和人工验证来审计视频理解基准，以隔离需要真正时空推理的样本。
• 审计发现，现有基准样本中55%无需视觉输入或时间上下文即可解决，过滤这些捷径后，最先进的模型仅略高于随机猜测。
• 使用精炼的视频原生挑战作为测试平台，该工作确定了时间定位和自适应推理是稳健理解的关键驱动因素，并揭示了监督微调与基于视频推理的强化学习之间的平衡是一个开放问题。

引言

视频大语言模型（Video-LLM）的兴起将评估从狭窄任务推向综合感知与推理，但仍难以判断基准性能的提升是否反映了真正的视觉理解、语言捷径或外部知识。现有基准通常包含无需视觉或时间证据即可解决的样本，而先前的审计工作仅针对孤立问题，如时间捷径或感知密集型设计，未能在不同基准上联合检查视觉依赖性、时间依赖性和标注质量。作者提出了Video-Oasis，一个系统性地解耦视觉和时间线索的诊断套件，以识别捷径可解样本并精炼出视频原生挑战，揭示超过一半的基准样本缺乏真正的视频依赖性，且最先进的模型在剩余的严格任务上仅略高于随机水平。

数据集

• 数据集构成与来源 Video-Oasis是一个从14个现有公开视频问答基准中精炼出的评估集。原始集合包含24,416个多项选择问答对，关联4,938个唯一视频。经过过滤后，数据集保留11,033个问答对，评估量减少了55%。

• 过滤规则 作者应用了一组诊断测试（Video-Oasis），移除无需真正时空推理即可解决的样本——例如，仅凭单帧、语言或听觉线索即可回答的问题，或具有模糊依据的问题。只有需要视觉和时间依赖性的问答对得以保留。

• 挑战类别 剩余样本被组织为五种视频原生挑战类型：Fine-Grained Perception、Spatial World Understanding、Temporal Dynamics & Tracking、Causality & Logical Reasoning和Global Narrative。每个问答对由五个专有LLM组成的集成分配一个主要类别；当至少三个模型达成一致时，标签被接受，122个无共识的案例则进行人工检查和标注。

• 用途 该数据集仅用于评估，不用于训练。它提供了一个更高效、更严格的基准，专门针对时空视频理解，避免了早期基准所允许的捷径。

• 处理细节 除过滤步骤外，未对视频进行额外的裁剪或预处理。类别元数据通过LLM集成标注流程构建，并对模糊实例进行人工验证。

方法

作者提出了Video-Oasis，一个旨在验证视频基准是否满足真正视频理解基本标准的诊断套件。该框架系统性地检查视觉、时间和标注依赖性，以过滤掉捷径可解的样本。

如下图所示，该诊断套件通过三个主要标准运作。首先，为测试视觉依赖性，作者将原始视频替换为移除或抽象原始视觉证据的输入。这包括仅提供问题和选项的Blind test、使用转录音频轨道的Audio test，以及使用串联字幕的Summary test。如果模型在此成功，则任务可能依赖语言偏见而非视觉感知。其次，为验证时间依赖性，作者使用仅取中间帧的Center-Frame test、打乱时间顺序的Frame Shuffling test，以及使用冻结的基于CLIP的编码器进行相似性匹配而不进行时间建模的Bag-of-Frames test。在这些测试中成功表明任务可能不需要真正的时间推理。第三，为确保标注可靠性，作者应用Consistency、Redundancy和Sensitivity检查，标记模糊样本以供人工检查。

人工验证过程处理诊断检查所识别的特定标注问题。例如，consistency和redundancy检查有助于识别错误的时间标签或模糊的主体，这些会阻碍答案与视频的可靠关联。类似地，最初被帧打乱过滤的案例会进行人工审查，以恢复真正需要时间顺序的样本，例如对特定动作之后的事件进行推理。

在应用Video-Oasis之后，作者将剩余样本精炼为视频原生挑战。他们汇总源基准元数据，并提示一个LLM推导候选挑战集群，然后将其整合为五个统一类别：Fine-Grained Perception、Spatial World Understanding、Temporal Dynamics & Tracking、Causality & Logical Reasoning和Global Narrative。为将每个问答对分配至主要类别，使用了五个专有LLM的集成，多数一致时接受标签。此过程过滤掉捷径驱动的样本，并突出需要严格时空依赖性的固有视频原生挑战。

最后，作者利用此精炼集探索算法设计，特别关注自适应推理。以Qwen3-VL为基础模型，他们比较了指令遵循模式、思考模式以及通过VideoAuto-R1实现的自适应思考。结果表明，推理深度应根据问题动态调整而非固定，因为一个在思考与非思考状态之间最优选择的神谕集成基线几乎弥合了与前沿模型的性能差距。

实验

该研究首先使用移除或破坏视觉和时间证据的诊断测试审计了14个视频基准，揭示绝大多数样本可以通过捷径而非真正的时空推理解决。在过滤这些捷径可解实例后，创建了一个精炼评估集，大多数当前视频语言模型在该集上表现接近随机水平，其中全局叙事理解是关键瓶颈。消融研究进一步表明，精确的时间定位和自适应推理策略在精炼挑战上带来了显著增益，而监督微调与具有可验证奖励的强化学习为严格的视频理解提供了互补优势。

Video-Oasis审计了14个基准，远超先前研究检查的2至9个。它是唯一为所有三个诊断轴（视觉、时间和模糊性）提供多项测试的工作，也是唯一结合跨模型共识与人工验证的工作。先前的审计要么完全缺乏视觉诊断（EgoTempo），要么仅提供单一时间测试（Cambrian-S、Apollo），而Video-Oasis为每个轴包含多项测试。EgoTempo和Cambrian-S中未进行人工验证，且任何先前研究均未使用跨模型共识，使Video-Oasis成为首个同时采用两者的工作。

当通过诊断测试移除视觉证据或打乱时间顺序时，视频语言模型仍能达到33%至36%的准确率，远高于25.6%的随机基线。这表明许多基准样本包含捷径，使模型能够在不依赖预期的视觉或时间依赖性的情况下正确回答。在仅音频、摘要、中心帧和帧打乱测试下，Eagle2.5、Qwen2.5-VL和Qwen3-VL分别达到35.6%、33.5%和36.2%的准确率，远超25.6%的随机水平。所有模型在破坏输入上观察到的30-50%准确率范围揭示，相当一部分基准实例无需真正的时空推理即可解决。

捷径可解样本在所有任务组中普遍存在，当至少一个诊断模型一致时，平均92.7%的实例表现出捷径行为。即使在三个模型的最严格共识下，大多数空间、时间和一般样本仍易受捷径影响，而推理任务的捷径比例较低但仍达44.6%。在宽松共识阈值（c ≥ 1）下，超过94%的空间、时间和一般样本是捷径可解的，推理任务仍达85.8%。在最严格共识（c = 3）下，空间（58.8%）、时间（54.4%）和一般（63.0%）基准的捷径比例保持在50%以上，而推理降至44.6%，表明相对更强的鲁棒性。

人工精炼针对三种模糊性类型：consistency、redundancy和sensitivity。sensitivity检查纠正帧打乱可能产生的假阳性，需要最广泛的精炼，标记和纠正的样本数量远多于其他两项检查。consistency和redundancy检查处理了较小但有意义的不可靠标注集。sensitivity检查精炼的样本数超过consistency和redundancy检查之和。consistency和redundancy检查各精炼约200个样本，表明存在不可忽视的标注不可靠性。

Summary、Center-Frame和Frame Shuffling测试共同发现了所有独特捷径的65%，形成了基准精炼的紧凑有效协议。仅Frame Shuffling就识别出最多的独特捷径，而Audio和Blind测试因与其他诊断大量重叠而贡献的独特检测最少。Summary、Center-Frame和Frame Shuffling测试占独特捷径的65%。Frame Shuffling产生的独特捷径数量最多，而Audio和Blind测试的区分度最低。

Video-Oasis审计了14个基准，每个轴采用多项诊断测试、跨模型共识和人工验证。模型在破坏输入上取得远高于随机的准确率，揭示了任务中普遍存在的捷径。人工精炼主要纠正sensitivity问题，而一组紧凑的测试揭示了大多数独特捷径。