一句话总结

阿里巴巴集团推出 Wan-Streamer v0.2，这是一个延迟保持不变的端到端音视频交互模型升级版，将交互流分辨率从 $192 \times 336$192×336 提升至 $640 \times 368$640×368，同时保持 $\sim 200\ \text{ms}$∼200 ms 模型侧信号到信号延迟，通过 thinker-performer 分离实现，其中 performer 采用 Ulysses 风格的上下文并行进行高分辨率潜在视频生成，保持紧凑的边界，并能在不增加额外延迟的情况下，实现实时、场景融入的中景 agents，其姿态、视线、手部和局部场景布局清晰可辨。

核心贡献

• Wan-Streamer v0.2 将交互视频输出从 192×336 提升至 640×368，帧率 25 FPS，同时保持约 200 ms 的模型侧流式延迟，并保持相同的原生全双工设计。
• 一种服务拓扑将模型分离为单 GPU thinker，负责延迟关键的感知和语言/状态计算，以及一个 Ulysses 风格的上下文并行多 GPU performer，通过预分片的 K/V 缓存和序列并行进行潜在视频去噪，吸收高分辨率视频生成成本。
• 分辨率升级将可用的视觉交互从特写视频通话扩展到更高保真度的特写和场景融合的中景 agents，在实时对话中，姿态、视线、手部、附近物体和局部场景布局保持清晰可辨。

引言

实时音视频交互要求系统结合全双工语音、多模态感知和流式视频生成，同时不破坏自然的对话节奏。Wan-Streamer v0.1 引入了一个单 Transformer 因果时间线，联合建模用户与 agent 的文本、音频和视频，但其 192p 输出流迫使特写画幅限制在面部回应，使得身体姿态、物体和场景上下文在更广的构图中无法辨认。作者通过将视觉输出升级至 640×368、25 FPS，同时保持约 200 ms 模型侧延迟来解决这一问题。他们引入了一种服务拓扑，其中单 GPU thinker 处理延迟关键的感知和状态更新，而 Ulysses 风格的上下文并行多 GPU performer 通过预分片的 K/V 缓存和序列并行吸收新增的高分辨率潜在视频去噪成本，从而将交互范围扩展到场景融入的中景 agents，这些 agents 在视觉上依然与其周围环境保持联系。

方法

作者利用一种稳定的原生流式公式，其中模型以端到端因果流方式运行。用户文本、音频和视频观测持续更新共享历史，该历史为 agent 的文本、语音和视频响应提供条件。生成的音频-视频潜在表示在每个单元后被提交回历史，使后续响应能够依赖于用户行为和 agent 先前表达。为了在不降低交互延迟的情况下应对生成更高分辨率 640x368 视频所增加的计算成本，部署的模型被拆分为两个不同的角色：Thinker 和 Performer。

Thinker 位于单块 GPU 上，负责紧凑的低延迟交互路径。它承载因果音频和视频编码器、用于语言和状态更新的 token-causal Transformer 路径、KV 缓存构建，以及将返回的潜在表示转换为输出音频和视频的因果解码器。语言和状态计算反映在用于条件生成过程的 K/V 缓存中。

Performer 由一个 Ulysses 风格的上下文并行 GPU 组组成，专门用于计算成本高昂的流匹配潜在生成路径。Performer 的各个 rank 维护预分片的 K/V 缓存，并将长潜在视频序列拆分到各个 rank 上进行去噪，通过在注意力周围进行 Ulysses all-to-all 和 gather 集合通信。由于音频潜在表示相对较短，序列分片会引入不必要的开销，因此音频潜在表示在不进行序列分片的情况下生成。

如框架图所示，在每个流式单元 $k$k，Thinker 消费当前用户观测并产生一个新的 Performer 兼容的 K/V 切片。同时，它接收来自前一个单元的生成潜在表示，对其进行解码，并发出响应。Performer 的各个 rank 接收当前 K/V 切片，更新其全历史缓存的本地分片，并为下一个单元执行 Ulysses 上下文并行去噪。这种调度有效地将吞吐量与响应延迟分离。通过确保 Performer 组的处理时间、K/V 和潜在传输以及 Performer 内部 Ulysses 通信适应 160 ms 的单元，同时模型侧响应延迟保持约 200 ms，实现了实时吞吐量。通过将额外的高分辨率工作负载集中在上下文并行 Performer 中，Thinker 始终是快速交互的简化路径。

实验

评估在 v0.1 使用的相同响应边界下，隔离了 v0.2 640×368 视频输出的模型侧延迟和视觉质量。模型侧信号到信号延迟保持约 200 ms，在固定的网络预算下，总远程交互延迟约为 550 ms。定性检查显示，特写视频通话更清晰，场景融入的中景 agents 更稳定，面部细节、视线和动作得到改善，同时保持低延迟流式传输。

Wan-Streamer v0.2 将输出分辨率从 192×336 提升至 640×368，同时保持相同的 25 FPS 帧率、约 200 ms 模型侧延迟，以及在不变的 350 ms 网络预算下约 550 ms 的总交互延迟。performer 组件从单 GPU 潜在生成过渡到多 GPU Ulysses 风格的上下文并行，并采用修订后的通信协议，广播 K/V 切片，并将 all-to-all/gather 通信限制在 performer 组内。定性观察表明，在更高分辨率的流式输出中，特写视频通话更清晰，中景 agents 更加场景融入。分辨率从 192×336 提升至 640×368，在相同的网络预算下，模型侧延迟（~200 ms）或总交互延迟（~550 ms）均未增加。performer 采用多 GPU Ulysses 风格的上下文并行生成，通信流程更新为广播 performer 兼容的 K/V 切片，同时潜在序列交换保持在 performer 组内。

Wan-Streamer v0.2 评估了更高分辨率的流式管道，同时通过将 performer 从单 GPU 切换到多 GPU Ulysses 风格的上下文并行保持相同的交互延迟。更新后的通信流程广播 performer 兼容的 K/V 切片，并将 all-to-all 潜在交换限制在 performer 组内。定性观察表明，增强后的输出中特写视频通话更清晰，中景 agents 更加场景融入。