一句话总结

来自清华大学和香港科技大学的研究人员提出了 LiveEdit，这是一种实时流式视频编辑器，它通过三阶段流程将双向扩散模型蒸馏为单向因果编辑器，并采用面向 AR 的掩码缓存实现 12.66 FPS 的推理速度，为交互式和增强现实应用提供稳定的长时域编辑能力。

核心贡献

• 一个由基础调优、教师强制和分布匹配蒸馏组成的三阶段蒸馏流程，将双向扩散编辑先验迁移至因果单向流式编辑器，将推理循环压缩至 4 步，同时保持长时域视觉保真度。
• 面向 AR 的掩码缓存跨帧复用区域相关计算，消除未编辑区域的冗余处理，降低延迟且在这些区域无明显质量下降。
• 建立了专用于流式视频编辑的基准测试；实验在流式基线中达到最先进的视觉质量，帧率达 12.66 FPS，支持实时交互和增强现实应用。

引言

作者针对增强现实和直播场景中的实时流式视频编辑问题，要求帧数据按块处理且无未来信息。先前的视频扩散模型依赖离线双向注意力，直接将其适配到因果流式模式会因注意力分布偏移导致闪烁和遗忘效应。此外，标准流程逐帧冗余重新处理静态背景区域，在边缘设备上产生不可接受的延迟。作者引入 LiveEdit 框架，通过三阶段流程（基础调优、教师强制和分布匹配蒸馏）将双向教师模型蒸馏为 4 步因果学生模型，并提出面向 AR 的掩码缓存，仅选择性重新计算编辑区域，大幅降低每帧计算量并保持视觉质量，以高保真度和时间一致性达到最先进的 12.66 FPS。

方法

作者提出一种流式视频编辑框架，旨在弥合离线双向先验与在线因果执行之间的差距。他们指出，将最先进的视频扩散模型适配到流式任务时存在两个主要低效问题：注意力分布偏移和时空 token 冗余。当双向模型被突然截断以用于因果执行时，未来上下文的丢失迫使注意力权重平坦化并均匀分布在历史帧上，破坏了预训练的结构先验。

为解决这些问题，作者引入了渐进式三阶段蒸馏流程和面向 AR 的掩码缓存机制。该综合框架概览如下。

三阶段蒸馏流程将高保真编辑能力有效迁移至超快速单向流式编辑器。第一阶段，作者使用双向扩散 Transformer（DiT）建立鲁棒的多模态视频到视频编辑基线。网络处理原始视频潜变量 $z_0 \in \mathbb{R}^{F \times C \times H \times W}$z0​∈RF×C×H×W 与时间步 $t$t 的噪声潜变量 $z_t$zt​ 的通道级拼接，并通过标准噪声匹配目标进行监督： $\mathcal{L}_{MSE}^{bid} = \mathbb{E}_{z_0, \epsilon \sim \mathcal{N}(0, I), t, c} \left[ \left\| \epsilon - \epsilon_{\theta}^{bid} (z_t, t, c) \right\|_2^2 \right]$LMSEbid​=Ez0​,ϵ∼N(0,I),t,c​[​ϵ−ϵθbid​(zt​,t,c)​22​] 这产生了一个强大的离线编辑先验。第二阶段，为支持流式功能，架构通过教师强制机制和分块因果注意力转换至自回归范式。因果掩码 $M_{causal}$Mcausal​ 限制时间 token 关注未来块，优化因果 DiT $\epsilon_{\theta}^{causal}$ϵθcausal​ 以在遵守因果约束下预测噪声： $\mathcal{L}_{MSE}^{causal} = \mathbb{E}_{z_0, \epsilon, t, c} \left[ \left\| \epsilon - \epsilon_{\theta}^{causal} (z_t, t, c \mid M_{causal}) \right\|_2^2 \right]$LMSEcausal​=Ez0​,ϵ,t,c​[​ϵ−ϵθcausal​(zt​,t,c∣Mcausal​)​22​] 这使因果输出分布与双向表示对齐，防止结构坍塌。第三阶段，作者应用分布匹配蒸馏（DMD）实现超低延迟。他们使用第二阶段基于 AR 的模型参数初始化一个 4 步 DMD 生成器 $G_{\theta}$Gθ​。蒸馏过程由 $\mathcal{L}_{MSE}$LMSE​ 和 DMD 梯度 $\nabla_{\theta} \mathcal{L}_{DMD}$∇θ​LDMD​ 联合优化，该梯度在真实得分模型 $\epsilon_{\phi}^{real}$ϵϕreal​ 与可训练的虚假得分模型 $\epsilon_{\psi}^{fake}$ϵψfake​ 之间计算： $\nabla_{\theta} \mathcal{L}_{DMD} = \mathbb{E}_{z_T, c} \left[ w(t) \left( \epsilon_{\phi}^{real}(z_t, t, c) - \epsilon_{\psi}^{fake}(z_t, t, c) \right) \nabla_{\theta} G_{\theta}(z_T, c) \right]$∇θ​LDMD​=EzT​,c​[w(t)(ϵϕreal​(zt​,t,c)−ϵψfake​(zt​,t,c))∇θ​Gθ​(zT​,c)] 其中 $z_t$zt​ 是从生成输出模拟的中间潜变量，$w(t)$w(t) 为时间步相关的权重函数。

为解决实时推理中的时空 token 冗余，作者引入了面向 AR 的掩码缓存机制。在流式推理过程中，流水线按顺序块处理视频。对于输入块 $k$k，通过计算前一块的源表示 $z_{src}^{k-1}$zsrck−1​ 与编辑输出潜变量 $z_{edit}^{k-1}$zeditk−1​ 之间的 $L_2$L2​ 距离，得到二值空间编辑掩码 $M^k \in \{0, 1\}^{H \times W}$Mk∈{0,1}H×W： $M_{u, v}^k = \mathbb{I} \left( \left\| z_{edit, u, v}^{k-1} - z_{src, u, v}^{k-1} \right\|_2 > \tau \right)$Mu,vk​=I(​zedit,u,vk−1​−zsrc,u,vk−1​​2​>τ) 其中 $\mathbb{I}(\cdot)$I(⋅) 为指示函数，$\tau$τ 为动态确定的阈值。该掩码将空间布局分为活跃编辑区域和未编辑区域。以下可视化展示了该掩码生成过程的高结构稳定性。

该机制并非全局执行完整的网络前向传播，而是根据 $M^k$Mk 引导的空间路由策略进行。活跃掩码内的 token 经过自注意力、交叉注意力和前馈网络模块的完整计算。相反，未编辑区域的 token 绕过这些成本高昂的层，其中间特征表示直接从先前块填充的 Token Cache 中获取。输出 token 特征 $f_{u, v}^k$fu,vk​ 由以下公式确定： $f_{u, v}^k = \begin{cases} \mathcal{F}(z_{u, v}^k) & \text{if } M_{u, v}^k = 1 \\ f_{u, v}^{k-1} & \text{if } M_{u, v}^k = 0 \end{cases}$fu,vk​={F(zu,vk​)fu,vk−1​​if Mu,vk​=1if Mu,vk​=0​ 这种动态的块间空间解耦大幅降低了每帧计算复杂度，同时严格保证未编辑背景区域的绝对视觉一致性。

实验

评估流程基于三阶段蒸馏过程，将双向基础模型转换为实时流式编辑器，利用因果注意力和分布匹配蒸馏实现 4 步自回归生成。与最先进的离线和流式基线的定性比较表明，所提方法独特地结合了精确局部编辑和未编辑区域的严格保留，避免了常见的颜色渗出、结构坍塌或身份损坏等失败。定量评估证实，单向流式模型不仅达到有竞争力的美学质量与运动平滑度，在文本对齐方面甚至超越双向方法。消融实验验证了每个训练阶段的必要性，并表明在动态修剪阈值引导下缓存自注意力特征，可最优保留时空冗余，在不牺牲视觉保真度的同时实现低延迟性能。

所提流式视频编辑框架，即使不包含面向 AR 的缓存，在所有比较方法中仍取得文本对齐、背景一致性、动态程度和成像质量的最高分。它在文本对齐上超越离线双向模型 InsV2V，同时与流式和离线基线相比保持有竞争力的运动平滑度和美学质量。该方法记录了最佳的文本对齐（0.265）和动态程度（0.282），优于包括离线 InsV2V 在内的所有基线。背景一致性接近完美（0.956），与最佳双向模型持平并超过典型流式表现。

三阶段蒸馏流程依次实现流式化并大幅降低推理延迟，同时保持文本对齐质量。从高成本的离线基础模型开始，该过程过渡到分块自回归流式，再压缩生成至 4 个 NFE 且无需无分类器引导，以最小的精度下降实现实时性能。第二阶段通过从全序列处理切换为 3 帧块的自回归生成引入流式能力。第三阶段将每视频延迟从约 200 秒降至 8 秒以下，而各阶段的文本对齐分数几乎相同。

将掩码缓存应用于自注意力层时，编辑质量接近无缓存基线，仅在细节和图像质量指标上略有降低。相反，缓存前馈网络特征会导致严重退化，细节保留崩溃并产生模糊、结构不稳定的输出。这种差异可由自注意力 token 的高时间冗余与前馈表示的低相似性解释。缓存自注意力特征可获得与无缓存相当的性能，仅在细节保留和图像质量上有微小下降。缓存前馈网络特征则大幅降低细节保留和图像质量，导致严重模糊和结构不稳定。自注意力 token 在连续步骤间表现出很高的时间冗余，非常适合高效缓存。前馈表示则显示出明显较低的时间相似性，解释了其不适合直接时间复用。

所提流式视频编辑框架，即使不包含面向 AR 的缓存，仍以最高的文本对齐和近乎完美的背景一致性优于离线和流式基线。三阶段蒸馏流程引入分块自回归流式并将推理延迟从约 200 秒压缩至 8 秒以下，同时文本对齐分数保持不变。仅缓存自注意力特征可保持编辑质量接近无缓存基线，而缓存前馈网络特征则会导致严重模糊和不稳定，可由自注意力 token 的高时间冗余与前馈表示的低相似性解释。