一句话总结

南京大学研究人员提出Light-Omni，一个反射式多模态agent框架，利用双重上下文状态——一个全局整合的多模态脚本和一个参数化潜在状态——在单次前向传播中实现语义对齐的检索与即时动作，从而消除迭代推理，并以平均$2.4\%$2.4%的准确率提升、$12.1\times$12.1×的加速比和$2.6\times$2.6×的GPU内存效率提升超越M3-Agent。

核心贡献

• 论文引入了Light-Omni，一个多模态agent框架，通过反射式单次前向传播设计，替代了缓慢、迭代式的“侦探式”推理，用于长视频理解。
• 该框架构建了双重上下文状态：一个全局状态，通过分层合并从情景记忆中整合，以保留近期细节并总结过去事件；一个参数化潜在状态，以全局上下文为条件，直接驱动动作和检索嵌入，无需迭代推理即可弥合查询与记忆之间的语义鸿沟。
• 在多个长视频基准测试中，Light-Omni以2.4%的准确率提升、12.1×的加速比和2.6×的GPU内存减少，性能优于M3-Agent。它还能作为记忆系统，提升现有多模态大语言模型的性能和效率。

引言

多模态大语言模型在连续处理长视频流时存在根本性失忆问题，因为其有限的上下文窗口会丢弃早期事件。为此，记忆增强的视频agent将片段存储为带有粗略文本元数据的离散条目，并通过相似性搜索进行检索，但用户查询与这些稀疏表示之间持续存在的语义鸿沟，降低了检索准确性，并迫使采用昂贵的多步推理工作流。作者认为，根本原因在于缺乏显式的全局上下文，以及查询与记忆分布之间的错位。他们引入了Light-Omni，一个通过构建双重上下文状态来用反射式响应替代繁重推理的框架：一个全局状态，从情景记忆中整合出一个非参数的、紧凑的多模态脚本；一个潜在状态，产生语义对齐的嵌入，从而无需推理即可实现直接、准确的检索。这种设计弥合了语义鸿沟，在显著降低延迟和内存占用的同时，带来了大幅的准确率提升。

数据集

作者通过自动处理公开可用的长视频创建了一个自定义训练数据集。关键点如下：

• 来源与构成：离线、公开可用的长视频作为原始材料。
• 自动合成流水线：在不同时间戳注入文本和听觉指令，以引发同步响应和密集的中间监督信号（例如，记忆更新和已执行的动作）。为增加多样性并模拟多会话交互，将异构视频片段进行拼接。
• 规模：43k个训练样本。
• 模式与元数据：样本携带时间对齐的指令、生成的响应以及分步的监督标签，如记忆状态变化和动作决策。
• 在训练中的使用：该数据集用于训练三路多LoRA适配器。
• 记忆和生成适配器通过标准的下一token预测损失进行优化。
• 反应适配器使用混合目标函数：在动作空间（搜索、语音）上的离散分类损失，加上一个对比检索对齐项，将预测的检索嵌入链接到正确的记忆嵌入。
• 处理/裁剪：未描述显式的裁剪策略；相反，该流水线拼接片段并在多个时间步注入事件，有效地创建了长且富含指令的序列。

方法

作者提出Light-Omni，一个旨在为通用多模态大语言模型配备长期记忆和低延迟推理能力的框架，以用于长视频理解。与近期的视频agent不同，后者依赖于涉及迭代推理和工具调用的侦探式工作流，这会引入高昂的延迟，Light-Omni通过双重上下文状态设计实现了接近恒定的延迟。该架构将全局上下文缓慢、增量的整合与由潜在状态驱动的快速、实时反射式响应解耦。

如框架图所示，系统通过两个主要阶段运行：实时反射和睡眠时整合。给定时间戳$t$t的全模态输入片段$\pmb{\mathcal{Z}}^t = \{\pmb{V}^t, \pmb{A}^t, \pmb{T}^t\}$Zt={Vt,At,Tt}，包含视觉帧、音频信号和文本指令，模型以当前上下文为条件生成动作，同时在响应后整合阶段更新记忆。这一过程在数学上形式化为： $\{\boldsymbol{\mathcal{A}}^t, \boldsymbol{\mathcal{S}}^t, \boldsymbol{\mathcal{M}}^t\} = \Phi(\pi; \boldsymbol{\mathcal{I}}^t, \boldsymbol{\mathcal{S}}^{t-1}, \boldsymbol{\mathcal{M}}^{t-1}), \quad t = 0, 1, 2, \dots${At,St,Mt}=Φ(π;It,St−1,Mt−1),t=0,1,2,… 其中$\mathcal{A}^t$At表示反射式动作（例如，生成响应、搜索），$\pmb{S}^t$St代表双重上下文状态，$\mathcal{M}^t$Mt是结构化的多模态长期记忆。$\Phi(\cdot)$Φ(⋅)定义了系统动态，由模型$\pi$π参数化。

如下图所示，这种耦合设计与迭代推理范式形成鲜明对比。传统agent因查询与离线构建的记忆表示之间的语义鸿沟而遭受高延迟和局部视野，Light-Omni则利用双重上下文状态保持全局上下文，并直接生成语义对齐的嵌入以进行证据聚合。通过融入睡眠时记忆整合，它实现了具备全局视野和接近恒定延迟的无缝在线交互。

多模态长期记忆 记忆是Light-Omni的基石。作者将多模态记忆$\mathcal{M}$M分解为三个不同的组成部分：

1. 用户画像 ($\mathcal{M}_p$Mp​)：存储个体的基本属性，包括视觉头像、个人偏好和个性特征，实现个性化交互。
2. 语义记忆 ($\mathcal{M}_s$Ms​)：从流输入中提炼抽象的事实、概念和关系，存储为文本键值对以便快速调用。
3. 情景记忆 ($\mathcal{M}_e$Me​)：作为过去事件的时间顺序分类账，将历史交互记录为结构化的全模态脚本，包含显式时间戳、视觉场景描述、听觉线索和助手响应。

为提升效率，Light-Omni顺序处理连续视频流。给定当前输入$\mathcal{Z}^t$Zt和全局状态$S_g^{t-1}$Sgt−1​，模型通过$p(\text{Topic}^t \mid \mathcal{T}^t, S_g^{t-1}; \pi)$p(Topict∣Tt,Sgt−1​;π)直接生成$\text{Topic}^t = \{\mathcal{M}_s^t, \mathcal{M}_e^t\}$Topict={Mst​,Met​}。用户画像$\mathcal{M}_p$Mp​仅在缓冲主题数量超过预定义容量$\tau_t$τt​时更新。

双重状态设计 Light-Omni的核心在于一种新颖的双重状态设计，$\pmb{S}^t = \{\pmb{S}_g^t, \pmb{S}_l^t\}$St={Sgt​,Slt​}，其中这两个状态都源自并基于多模态记忆$\mathcal{M}^{t-1}$Mt−1。该机制确保$S_g^t$Sgt​赋予agent用于响应生成、记忆检索和整合的全局上下文，而$S_l^t$Slt​通过快速、内隐的反射而非繁重、显式的推理来执行动作。

• 全局状态 ($S_g$Sg​)：作为非参数上下文骨干，全局状态$S_g$Sg​提供了历史上下文的紧凑、分层表示。$S_g$Sg​并非简单地将整个记忆库拼接，而是通过一种展现出分辨率衰减特性的分层合并策略构建。具体来说，情景脚本$\mathcal{M}_e$Me​根据容量因子$k$k逐步总结和合并。当第$i$i层节点数量$N_i$Ni​达到$k+1$k+1时，最旧的$k$k个节点被整合为一个更高层的节点$m_{i+1}$mi+1​： $\boldsymbol{S}_g^t = \text{Update}(\boldsymbol{\mathcal{M}}_e^{t-1} \cup \Delta\boldsymbol{\mathcal{M}}_e^t, k)$Sgt​=Update(Met−1​∪ΔMet​,k) $\text{s.t.} \quad N_i \geq k+1 \implies m_{i+1} \leftarrow \text{Merge}(\{m_i\}_{1:k}).$s.t.Ni​≥k+1⟹mi+1​←Merge({mi​}1:k​). 此操作确保近期的细粒度细节和远期的粗粒度摘要共存在一个有限的上下文窗口内。

• 潜在状态 ($S_l$Sl​)：以$S_g^t$Sgt​为条件，潜在状态直接生成语义对齐的嵌入以进行准确检索。作者引入了可学习的软提示$P_{soft} \in \mathbb{R}^{N \times D}$Psoft​∈RN×D，附加到输入序列中。在单次前向传播中，骨干模型$\pi_\theta$πθ​处理增强后的序列$[S_g^t, \pmb{\mathcal{T}}^t, P_{soft}]$[Sgt​,Tt,Psoft​]，并直接产生相应的隐藏特征$H^t$Ht。这些特定的隐藏状态随后通过任务特定的头并行解码： $\boldsymbol{z}_{ret}^t = \operatorname{Pro}(\boldsymbol{h}_{ret}^t) \in \mathbb{R}^{D'}, \quad (\text{Retrieval Embedding})$zrett​=Pro(hrett​)∈RD′,(Retrieval Embedding) $\boldsymbol{a}_{act}^t \sim \operatorname{Bernoulli}(\boldsymbol{p}_{act}^t) \in \{0, 1\}^2, \quad (\text{e.g., speech, search})$aactt​∼Bernoulli(pactt​)∈{0,1}2,(e.g., speech, search) 其中$\boldsymbol{p}_{act}^t = \text{Sigmoid}(\text{FC}(\boldsymbol{h}_{act}^t))$pactt​=Sigmoid(FC(hactt​))代表每个动作的独立触发概率。投影头$\text{Pro}(\cdot)$Pro(⋅)是一个MLP-ReLU-MLP模块。检索嵌入$\boldsymbol{z}_{ret}^t$zrett​被添加到原始检索嵌入中，以修正查询表示，使其匹配记忆分布，弥合查询与记忆表示之间的语义鸿沟。

学习策略与优化

• 数据集构建：作者开发了一个自动流水线，从公开的离线长视频中合成一个定制的训练数据集。他们在不同时间步注入文本和听觉指令，以生成同步响应和密集的中间监督信号，共产生43k个训练样本。
• 多LoRA设计：为减轻记忆、生成和反应任务之间的优化冲突，作者采用多LoRA架构解耦这些能力。在推理期间，系统根据当前状态动态切换适配器。
• 训练：对于记忆和生成任务，相应的适配器使用标准的下一token预测目标进行优化： $\mathcal{L}_1 = -\sum_{t=1}^T \log P_\theta(y_t \mid x, y_{<t})$L1​=−∑t=1T​logPθ​(yt​∣x,y<t​) 相比之下，反应适配器通过结合离散分类和对比检索对齐的混合目标进行优化： $\mathcal{L}_2 = \sum_{c \in \mathcal{C}} \mathcal{L}_{CE}(\boldsymbol{p}_c, \boldsymbol{y}_c) - \lambda \log \frac{\exp(\boldsymbol{z}_{ret} \cdot \boldsymbol{k}^+ / \tau)}{\sum_{j=1}^B \exp(\boldsymbol{z}_{ret} \cdot \boldsymbol{k}_j / \tau)}$L2​=∑c∈C​LCE​(pc​,yc​)−λlog∑j=1B​exp(zret​⋅kj​/τ)exp(zret​⋅k+/τ)​ 其中$\mathcal{C} = \{\text{search}, \text{speech}\}$C={search,speech}表示动作空间，$\boldsymbol{z}_{ret}$zret​是预测的检索嵌入，而$\boldsymbol{k}^+$k+是对应的正记忆嵌入。
• 效率优化：为进一步最小化延迟，作者实施了两项关键优化。首先，特征缓存确保视觉和听觉信号在多个阶段间无需重复编码，初步降低8%的延迟。其次，冗余剪枝利用长视频中固有的时间冗余性，基于特征相似度动态执行token剪枝。

如下图所示，这些策略在不牺牲准确率的情况下，累计将推理延迟降低了42%。

实验

Light-Omni在长视频基准测试VideoMME-long、LVBench、HippoVlog和OVO-Bench上进行了评估，与通用MLLM、记忆增强方法和推理agent进行了对比。实验验证了其在长视频上的强大性能，作为通用记忆模块提升现有MLLM的能力，双重状态机制在文本和音频噪声下的检索鲁棒性，以及其在交互使用中的显著延迟降低。双重状态设计确保了精确、抗噪的检索，同时系统保持近乎恒定的内存和推理时间，不受视频时长影响，实现了可扩展的长期多模态辅助。

Light-Omni达到了58.0%的平均准确率，超越了更大的商业和开源模型，同时相比其基线提供了巨大的速度和内存增益。作为记忆模块使用时，它持续提升多个基础模型的准确率并降低资源消耗。Light-Omni在长视频基准测试上的平均准确率为58.0%，优于GPT-4o、Gemini-2.0-Flash和Qwen2.5-VL-72B。与其Qwen2.5-Omni-7B基线相比，Light-Omni实现了9.5%的准确率提升，大约20倍的推理加速，以及超过3倍的内存使用降低。将Light-Omni添加到Qwen2.5-VL-7B、Qwen3-VL-8B和Gemini-2.0-Flash中，分别提升了它们的平均准确率4.9%、2.5%和3.8%，而对于Qwen2.5-VL-7B，在LVBench上推理加速了7.2倍，内存减少了2.5倍。

在VideoMME-long上，Light-Omni提供了最高的准确率（66.1%），同时每次查询延迟仅为2.28秒，相比迭代式M3-Agent加速超过8倍。其对每个视频的离线记忆成本仅为1.52秒，完整基准测试的总处理时间为1753秒，几乎是M3-Agent的3313秒的一半。这种效率并未牺牲质量，Light-Omni的准确率略微超过了第二名WorldMM。Light-Omni在VideoMME-long上取得了最佳准确率（66.1%），优于M3-Agent（61.8%）和WorldMM（66.0%）。Light-Omni的每次查询延迟为2.28秒，比M3-Agent的25.91秒快8倍以上。Light-Omni对整个视频的离线记忆成本仅为1.52秒，而M3-Agent为9.82秒。尽管进行了更多的LLM调用（153.5次 vs 81.2次），Light-Omni在1753秒内完成了完整的视频评估，几乎是M3-Agent所用时间的一半。

在VideoMME-long上的消融实验比较了全局上下文的策略。分层全局状态取得了最高准确率，比仅检索基线高出2.99个百分点，比均匀帧采样高出1.99个百分点。将短期记忆作为上下文仅带来0.56个百分点的边际增益，这表明分层记忆能更有效地捕捉长期时间依赖性。分层全局状态（S_g）在VideoMME-long上比仅检索基线高出2.99个百分点，比均匀采样高出1.99个百分点。短期记忆作为全局上下文仅比基线高出0.56个百分点，落后于均匀帧采样带来的1.0个百分点增益。

在LVBench基准测试中，通过逐元素加法将文本嵌入与潜在特征联合融合取得了最高准确率（49.90%），略高于纯文本检索基线。仅使用潜在嵌入进行检索，准确率下降2.78个百分点；而将潜在特征作为软提示前置则导致更大的5.81个百分点下降，表明朴素地整合潜在表示会损害检索性能。融合文本和潜在嵌入相比纯文本检索基线，准确率提升了0.64个百分点。仅依赖潜在嵌入进行检索，相对基线准确率下降2.78个百分点。将潜在特征作为软提示token附加导致最大降幅，比纯文本基线低5.81个百分点。

Light-Omni在长视频理解基准上进行了评估，在超越更大的商业和开源模型的同时，相比其基线提供了显著的速度和内存改进。作为记忆模块，它在集成到各种基础模型中时持续增强准确率并降低资源消耗。消融研究进一步表明，分层全局状态能有效捕捉长期时间依赖性，并且联合融合文本与潜在嵌入提高了检索准确性，而朴素地仅使用潜在嵌入的集成方式则会降低性能。