Command Palette
Search for a command to run...
Duo:面向全双工交互的对偶世界模型
Duo:面向全双工交互的对偶世界模型
摘要
本报告介绍了对偶世界模型(RWM),并发布了 Duo v1,一个能够持续感知音视频输入并实时响应用户的全双工世界模型。RWM 将智能与物理现实视为构成世界的两个同等根本的方面。现有世界模型大多侧重于模拟后者,而将推理与决策作为外部控制,而非世界本身的内在组成部分。在 RWM 中,我们确定了两个同等根本的能力:意图(Intent),提供世界交互背后的认知;实现(Realization),生成连贯的音视频行为。为实现这一构想,Duo v1 引入了三项关键技术设计:(1)利用自回归建模进行持续的交互推理与参与决策,而非将其局限于对扩散模型的指令理解。(2)构建分块特定条件,并在统一时间轴上同步意图与实现之间的 token。模块特定的注意力掩码在块内和块间强制因果依赖,防止访问未来输入。(3)通过双重 rollout 蒸馏缓解两个模块中的分布偏移,在自回归生成的意图 token 和来自实现的合成音视频历史上进行训练。两个模块持续感知实时音频、视频和文本,实现支持自发对话和打断的全双工交互。除对话外,用户还可以分享真实物体、重塑虚拟场景、引导助手或进行音视频游戏,而无需鼠标或键盘控制。Duo v1 的发布是我们的第一步,下一版本即将推出。我们期待对这一新兴领域进行更广泛的探索。
一句话总结
作者提出 Duo v1,一个用于全双工视听交互的互惠世界模型(Reciprocal World Model,RWM),通过自回归推理、块同步 token 与因果注意力以及双重 rollout 蒸馏,将 Intent 与 Realization 统一起来,从而支持实时对话、打断以及超越鼠标和键盘控制的具身交互。
核心贡献
- 提出互惠世界模型(Reciprocal World Model,RWM)和 Duo v1,这是一个全双工世界模型,将智能与物理现实视为同等根本,将 Intent 与 Realization 定义为一对耦合能力,分别对应交互认知和连贯的视听行为。
- Duo v1 通过以下方式实现 RWM:面向持续交互推理和参与决策的自回归建模;在统一时间线上、带因果注意力掩码的 Intent 与 Realization 块特定条件与 token 同步;以及生成四步流式生成器的双重 rollout 蒸馏。
- 提供音频、视频和文本数据构建流程,结合脚本化合成视频通话和录制对话,并提供一个流式运行时,协调意图推理、视听生成和增量解码,从而实现实时全双工对话、打断、物体共享、虚拟场景重塑以及无需鼠标或键盘控制的视听游戏。
引言
世界模型在根据过去观测和控制信号模拟物理场景动态方面进展迅速,但大多数系统将智能置于生成世界之外:用户通过文本或手柄操作等有限输入进行控制,而世界内部没有任何部分实时感知用户或决定如何响应。已有工作涉及控制中的学习动力学、全双工语音和流式视听生成等相关部分,但尚未通过互逆的实时感知与参与将生成的视听世界与现实世界连接起来。作者提出了互惠世界模型和 Duo v1,这是一个模块化实现,将多模态 Intent 模块与因果视听 Realization 模块相结合。Duo v1 以 17 个视频帧为块支持全双工交互,使用自回归交互决策、统一时间线上的因果块条件化以及双重 rollout 蒸馏,使训练与在线推理保持一致。
数据集
数据集概览
作者从合成交互和录制交互中构建 Training Duo v1,并将其合并为统一的对话时间线。该时间线保留自然时序和受控事件,使用户输入与助手视听行为在时间上对齐。它用于为 Intent 提供因果监督、为 Realization 提供视听目标、缺失视角重建以及录制视频扩展。
合成数据
- 来源:由文本生成视频模型生成的双人视频通话。
- 版式:分屏视频,左侧为用户,右侧为助手,共享同步音频。
- 控制卡片:
- 时长:30 秒、45 秒或 60 秒。
- 语言:中文或英文。
- 人设:关系或职业类别。
- 微动作:关闭或开启;开启时包含 24 种小反应,例如点头、挑眉或短暂移开视线。
- 交互类型:日常交流、打断、追问/辩论或主动询问。
- 情绪:固定为跟随话题和对话。
- 分辨率:1536 x 576 或 1152 x 768。
- 剧本构建:
- 由 LLM 撰写梗概和 JSON 剧本。
- 每位参与者只描述一次,然后在自然话轮边界将通话切分为 5 到 15 秒的块。
- 每个事件将表情、手势和听者反应的描述与至多一条语音条目配对。
- 基于规则的校验器检查结构、块时长、语言以及是否出现拍摄设备相关词语,最多重试三次。
- 提示与生成:
- 模板将每个通过校验的剧本块转换为一个文本生成视频提示。
- 参考角色包括将上一最终帧作为起始状态、将开头视频作为画质参考、将开头音频作为音色和房间环境声参考。
- 画面内容规则强制前置摄像头取景,排除录制设备、UI 元素和字幕,并防止内容越过中间分隔线。
- 因果顺序规则防止反应在其触发内容结束前开始。
- 生成后处理:
- 生成条件被保存为初始视频的 VAE 潜变量,以及最终帧的原始 RGB。
- 生成的视频被拼接并拆分为用户视图和助手视图,二者共享同一同步音轨。
- 开头视频用作固定参考,以减少长序列中的视觉误差累积。
录制数据
录制数据分为六个来源和交互类别。
- 单流视频:单人播客和单人演讲;片段为 10 到 90 秒,并保留自然停顿。
- 同步双流视频:两位参与者同时可见;保留聆听行为、重叠语音和反应。
- 异步双流视频:参与者出现在随话轮交替的单独片段中。
- 带观众评论的直播:带时间戳的观众提问与主播回应对齐,并将用户视频重建为同步的双流对话。
- 双工音频录音:全双工双人对话录音,用于驱动后续视频合成。
- 开放数据集:按通用录制标准筛选的单流说话人视频,并使用人脸检测、视频理解、VAD、ASR 和语种识别进行进一步筛选和标注。
通用录制标准:
- 真实说话人及原始声音。
- 保留说话人身份、转写文本和时间映射。
- 排除无关音频。
- 连续、未剪辑的半身或全身视角。
- 准确的音视频同步。
- 每个视角至少 720p 有效分辨率。
- 无视觉叠加。
- 双流录制至少包含一次完整的对话交流。
处理与质量控制
合成数据质量控制:
- 首帧一致性:与条件图像相比,SSIM 至少 0.90,感知哈希汉明距离至多 4。
- 异常音频:响度归一化、波形残差和 VAD 拒绝存在至少 0.40 秒无法解释的音频活动片段。
- 镜头推近:以 4 FPS 采样人脸尺度;拒绝阈值包括在 0.75 秒内持续扩大到基线 1.30 倍,以及在 0.50 秒内出现 1.22 倍的跳变。
- 持续大面积视觉变化:LAB 差异、像素变化比例以及颜色/亮度直方图距离用于拒绝突变和累积漂移。
直播数据处理:
- 采集与初步筛选:收集存档直播,去重并通过抽帧检查真实参与者和视觉质量。
- 标注与过滤:
- Qwen3-ASR-1.7B 和 Qwen3-ForcedAligner-0.6B 生成带时间戳的转写文本。
- Silero VAD 识别语音段和静音段。
- Qwen2.5-Omni-7B 审核音频类型。
- FSMN-VAD、Paraformer 和 CAM++ 执行说话人分离和说话人数量检查。
- 排除包含唱歌、耳语或气声、或多个说话人的窗口。
- 对话构建:
- 将观众评论与主播回应进行匹配。
- 当无法匹配时,根据主播的原始语音和可用的静音段生成并安排对方话语。
- 助手侧视频围绕主播进行裁剪,以去除屏幕上的评论和水印。
- 合成用户侧视频,并将两个视角配对到同一时间线上。
- 最终交付包括干净的双流视频,附带转写文本、对话时序和来源元数据。
数据使用方式
- 训练 Duo v1 使用时间对齐的用户输入和助手视听行为进行训练。
- 统一时间线为 Intent 提供因果监督,为 Realization 提供视听目标。
- 其他路径支持缺失视角重建和录制视频扩展。
- 原文未明确给出训练/验证/测试集划分大小,也未给出合成数据与录制数据的混合比例。
方法
作者提出 Duo v1,一个互惠世界模型,将基于语言的 Intent 模块与因果视听 Realization 模块相结合。参见框架图。
交互被形式化为逐块的全双工过程。在每个块 k,Intent 模块以全局指令、用户视频嵌入、用户文本和先前的助手文本输出为条件,生成文本输出 yk 和隐藏状态 hk。这些隐藏状态作为接口,为 Realization 模块提供语义引导。随后,Realization 模块以参考图像、意图隐藏状态、用户输入和先前生成的助手潜变量为条件,联合生成音频和视频潜变量。这种形式化保证了因果性,因为两个模块都只以当前块之前的交互历史为条件,并支持跨块连续性。
Intent 模块将预训练多模态语言骨干适配到因果、逐块的交互。如下图所示:
输入根据其可用时间进入上下文。ASR 从用户音频中恢复用户文本,强制对齐为每个文本 token 分配源音频时间线上的一段区间。一个 token 只有在其对齐区间结束后才被接纳。助手文本目标根据语音起始时间分配到各块,初始块使用固定的 <wait> 动作。文本输出包含 <speak> 后接文本正文,或 <wait> 且不附带新文本,从而将开始说话的决定与回复内容分离。
为支持实时响应生成,音频和视频被编码为紧凑的潜变量表示。对于音频,每个立体声通道被压缩为每秒 40 个潜变量向量。对于视频,编码器将每组 17 帧处理为 5 个潜变量帧。Realization 模块使用以预训练权重初始化的因果视听扩散 transformer,通过流匹配在这些潜空间中联合生成音频和视频。
训练分三个阶段进行。如下图所示:
阶段 1 通过在块对齐对话上进行监督微调,训练 Intent 模块进行因果参与和文本预测。该模型最小化加权自回归目标,并通过动作感知重平衡来处理不引入新助手文本的块。阶段 2 在冻结 Intent 模块的同时,训练 Realization 模块进行因果联合视听生成。训练序列布局和注意力掩码编码每个块内模态之间的依赖关系,并限制对先前交互历史的访问。如下图所示:
训练上下文包含参考、共享全局指令、所有块的干净媒体,以及每个块的 Intent 模块隐藏状态及其后的噪声媒体。因果注意力掩码确保块 k 的噪声媒体可以读取参考、共享指令、较早块的干净媒体和块 k 的隐藏状态,但不能读取块 k 的干净媒体或任何后续块的干净媒体。流匹配对从随机噪声到干净潜变量状态的联合媒体速度进行监督。
阶段 3 通过分布匹配蒸馏(Distribution Matching Distillation)将因果模型蒸馏为四步块因果生成器。如下图所示:
该阶段使用冻结的真实评分模型和可训练的虚假评分模型,使生成器自身样本的分布与数据分布匹配。为与推理时遇到的语言和媒体上下文对齐,采用了双重 rollout 策略。冻结的 Intent 模块回放录制的助手文本并生成最后一个助手话轮,而 Realization 模块逐块生成潜变量窗口。生成器通过向一个由虚假评分与真实评分估计之差导出的分离目标进行回归来更新,同时可选的 GAN 损失从训练媒体中提供直接反馈。
实验
评估结合了一项包含 30 次实时双工交互的人工研究,其中模型视听回复按六项二元标准进行评判,并展示了若干选定的交互示例。人工评估验证了在语言、语音清晰度和视觉身份方面较强的生成保真度,以及基本一致的跨模态行为;而内容响应能力仍是主要难点,因为它需要同时从语音和视频中实时推断用户意图。示例展示通过说明计划修订、视觉引导、协作设计、社会支持、协商、解释和指导等能力对此进行补充。