一句话总结

清华大学与生数科技推出Vidu S1，一种实时交互式视频生成模型，基于TurboDiffusion和TurboServe构建，可在消费级GPU上生成无限时长的540p视频，帧率高达42 FPS，支持语音控制的数字角色和个性化自定义图像，无模糊、漂移或视觉失真。

核心贡献

• Vidu S1作为一种实时交互式视频生成模型被提出，允许用户在任何时刻通过语音指令控制数字角色，将语音视为直接且明确的控制信号。
• 该模型通过缓解流式传输中的误差累积，支持无限时长的视频生成，无漂移或视觉崩溃，从而实现稳定的开放式流。
• 基于TurboDiffusion和TurboServe的高效推理与服务栈在消费级GPU上实现540p实时生成，帧率高达42 FPS，在Vidu-StreamBench和HDTF上的实验报告了领先指标（CSIM 0.9192，Sync-D 7.847，DOVER 0.5660），同时满足实时约束。

引言

近期的视频生成模型能够产生高质量的输出，但工作于离线、一次性生成的范式，用户被动等待完整视频。这种范式无法服务于直播、游戏和面对面交流等交互式视觉体验，这些场景要求内容即时响应。作者认为，实时交互式视频生成的需求远大于离线生成，因为离线视频可以回放和分享，而交互式内容直接随用户数量扩展。先前的自回归视频生成方法仍缺乏实时用户交互，未将语音用作直接控制信号，存在误差累积导致长流中的漂移和崩溃，且缺乏实际部署所需的高效推理基础设施。作者提出Vidu S1，一种实时交互式视频生成模型，支持连续的语音引导控制，通过缓解误差累积支持无限时长的稳定流，并通过优化的推理与服务栈在商用GPU上实现540p分辨率、42 FPS的生成。

数据集

作者构建了一个单人单镜头视频片段的训练语料库，数据来自两个主要来源，经过多阶段流水线处理，确保视觉清晰度、时序连贯性和跨模态一致性。

数据集构成与来源

• 直播与说话人视频：用于学习精细的面部表情、身体动作和唇形同步。
• 来自电影和电视剧的高质量素材：用于提升对不同镜头角度、场景和视觉风格的泛化能力。
• 所有原始素材均经过去重，并根据帧率、分辨率、视听完整性和视听同步进行预过滤。

关键处理细节

• 分割：原始视频被分割为3至60秒的单镜头片段；切分点被约束以避免中断语音。
• 联合过滤：专家模型（如人脸检测、美学评分）由一个全知模型补充，该模型提供沿编辑、主体、动作、情感、面部、语音、场景、镜头和基调等维度的全局语义标签。过滤规则强制要求：
  • 恰好一个主体，且画面占比合理。
  • 无水印、字幕或叠加广告。
  • 高视觉质量（清晰、完整，无模糊/抖动/闪烁）。
  • 内容安全（移除NSFW内容）。
  • 静态或慢动作镜头以保证镜头稳定性。
  • 主体动作/行为清晰，以保证交互性。
• 语音分离：语音活动检测和活跃说话人检测将每个语音片段分配为画内（说话人与可见主体匹配）、画外或重叠。重叠片段被丢弃。一种启发式方法进一步移除说话人发声但语音能量占比过低的片段，以减轻唱歌或重背景音乐带来的不稳定性。
• 标注：生成两种粒度的描述：
  • 片段级描述：对整个片段的连贯全局描述。
  • 语音感知块级描述：时间对齐的描述，用于细粒度条件控制。
  • 双路径策略将视觉属性（从帧推断）与听觉属性（从音频推断）解耦，以减少跨模态幻觉。描述涵盖主体外观、动作、运动、情感、场景、镜头语言、光照、对话、音效和背景音乐。

数据使用方式

• 处理后的片段及其结构化描述用作可控角色视频生成模型的训练集。未报告明确的训练集划分或混合比例；该语料库用于在片段级和块级标注提供的条件信号下学习运动、唇形同步和风格多样性。

方法

作者利用渐进式数据处理流水线，将异构的原始视频转换为高质量、时序连贯且具有语义标注的训练片段。如下图所示：

这种分阶段设计共同提升了视觉清晰度、时序稳定性、视听一致性和跨模态可解释性。流水线从预过滤阶段开始，根据帧率和视听同步等指标丢弃技术上不可靠的视频。剩余数据被分割为单镜头片段，随后进行主体级过滤、质量和安全筛选、语音分离和描述生成。为克服专家模型的局限性，全知模型执行全局语义理解，与局部细节敏感性形成联合过滤系统。语音分离提取语音成分，并将片段分配为画内、画外或重叠类别，过滤掉重叠和低能量发声以保持信号可靠性。最后，双路径描述策略解耦视觉和听觉模态，生成结构化的细粒度描述。

训练流水线由三个阶段组成，旨在构建流式视频-音频生成模型。在第一阶段，作者在完整的视频-音频序列上训练一个双向教师模型。模型以完整序列为条件，训练去噪联合隐状态，建立高质量的生成先验。目标是最小化预测与干净联合状态之间的平方$L_2$L2​距离。

在第二阶段，作者从预训练的双向模型初始化一个因果教师模型，并通过施加因果注意力掩码将其适配到流式自回归设置。每个目标状态在可用上下文和历史视频-音频前缀的条件下进行去噪。为弥合训练与推理之间的差距，采用结合Teacher Forcing和Diffusion Forcing的混合策略。Teacher Forcing使用干净的真实前缀提供稳定监督，而Diffusion Forcing提高自回归展开过程中对不完美前缀的鲁棒性。

在第三阶段，作者应用分布匹配蒸馏和分阶段一致性模型正则化，将自回归生成过程压缩为少数采样步骤。蒸馏目标最小化生成分布与数据分布之间的差异。为防止模式崩溃和时序不一致，引入一致性目标作为正则化机制，使用感知特征距离。生成器通过蒸馏和一致性目标的加权组合进行优化。

在推理过程中，作者采用滑动窗口解码，在有限资源下实现在线自回归生成。注意力被限制在一个固定长度的窗口内，该窗口包含持久的参考上下文、缓存的历史状态和当前正在去噪的状态。为提高效率和时序稳定性，利用旋转位置嵌入重定位。在应用位置嵌入之前缓存历史键值特征，随着窗口推进，根据更新的相对位置应用嵌入，避免冗余重计算。

此外，作者引入TwinCache，一种阶段感知的缓存策略，为历史状态维护互补的噪声缓存和干净缓存。在中间去噪步骤中，模型关注噪声缓存，该缓存保留粗略的时序动态并抑制高频伪影累积。在最终去噪步骤，关注干净缓存以恢复细粒度视觉细节，同时保持时序连贯性。

为实现实时推理，作者部署了软硬件协同设计的加速栈。注意力通过专用算法加速以减少延迟。对于线性层，在CUDA中实现自定义的逐块量化GEMM算子，以减轻离群值的影响并减少内存占用。算子序列融合为自定义Triton或CUDA内核，以减少主机启动开销和内存带宽压力。此外，采用CUDA Graph捕获固定结构的子图，将独立的内核启动合并为单个图启动，以提高GPU利用率。最后，上下文并行将计算和激活内存分布到多个GPU上，通过优化的集合通信最小化通信开销。

实验

Vidu S1在新的交互式基准Vidu-StreamBench上进行评估，该基准测试动作指令遵循、运动自然性和稳定性，同时使用标准HDTF指标。在成对比较中，它始终优于领先的商业系统，在与HeyGen和LemonSlice的对比中，主体可控性的偏好率达到100%，并展现出更优的视觉稳定性和指令遵循能力。此外，Vidu S1在RTX 5090 GPU上达到42 FPS，超过实时阈值，同时保持强身份一致性和视听同步。

Vidu S1是唯一将指令遵循与实时生成相结合的方法，同时在HDTF基准上取得了身份保持（CSIM）、视听同步（Sync-D）和感知质量（DOVER）的领先分数。它以42 FPS提供540p视频，超过30 FPS的实时阈值，并在用户研究中强烈优于商业系统，尤其在主体可控性方面。Vidu S1独特地同时支持指令遵循和实时生成，并在HDTF上所有比较方法中实现了最佳身份保持、最低视听同步误差和最高感知质量。在540p分辨率下以42 FPS的吞吐量，Vidu S1超越了30 FPS的实时播放要求，并优于商业系统HeyGen的25 FPS。

在Vidu-StreamBench上的成对人工评估中，Vidu S1在所有测量维度上均优于领先的商业虚拟形象系统。优势在主体可控性上最为明显，评分者一致偏好Vidu S1；在运动动态方面，它获得了绝大多数偏好。视听同步和身份一致性也偏向Vidu S1，尽管身份一致性有更高比例的平局评分。总体而言，Vidu S1以明显优势优于竞争对手，偏好率为56%，对手为28%，平局16%。主体可控性对Vidu S1的偏好率达到100%，表明当虚拟形象需要遵循明确动作指令时，评分者完全一致。运动动态强烈偏好Vidu S1，偏好率为68%，而竞争系统仅为14%。视听同步也倾向Vidu S1（52%对20%），身份一致性优势较小但仍显著（44%对22%），且平局评分更多。

Vidu S1独特地将指令遵循与实时生成相结合，在HDTF上实现了身份保持、视听同步和感知质量的顶级性能，同时以540p分辨率提供42 FPS。在人工评估中，它在所有维度上均强烈优于商业虚拟形象系统，主体可控性获得一致偏好，运动动态方面优势巨大，证实了其遵循明确动作指令和生成自然运动的卓越能力。