Command Palette
Search for a command to run...
Coda-DaVinci:以 Code2Video 重新构想视频生成
Coda-DaVinci:以 Code2Video 重新构想视频生成
摘要
Code2Video 利用智能体编写的 3D 代理来引导视频生成,从而实现对结构和动态的显式控制。然而,如何构建代理和提示以获得最优下游质量仍未得到充分探索,该范式的能力和局限也同样有待研究。通过受控实验和盲法人工评估,我们研究了代理粒度、物理仿真和提示策略。结果揭示了任务相关的权衡:粗粒度代理有利于自然运动,而中等粒度代理有利于一致性。物理仿真和与代理对齐的提示进一步提高了平均质量。基于这些发现,我们提出了 Coda-DaVinci,一个面向 Code2Video 生成的任务自适应智能体框架,该框架在代理引导生成和直接生成之间进行选择,为每个实体自适应建模粒度,并将物理仿真与基于代理的提示相协调。其多智能体机制保留场景资产,并通过视觉检查和独立评审引导修复。实验表明,该框架在 VTR 上具有领先的指令遵循能力,在 R2M 上具有领先的场景一致性,相比直接生成具有更高的物理合理性,并且相比所比较的 Code2Video 基线具有更高的视觉真实感。长视频评估进一步显示,在连续交互中事件结构和一致性有所提升,同时也揭示了在过渡稳定性和场景设定遵循方面的局限。
一句话总结
来自南京大学、KlingAI Research、北京大学等机构的研究者提出 Coda-DaVinci,一个任务自适应的 agentic Code2Video 框架,该框架在代理引导生成与直接生成之间进行选择,按实体调整建模粒度,并协调物理仿真与基于代理的提示词生成;实验表明其在 VTR 上取得领先的指令遵循表现,并在 R2M 上改善了场景一致性。
核心贡献
- 论文系统分析了 Code2Video 生成中的代理粒度、物理仿真与提示词设计,识别出与任务相关的权衡,例如粗粒度代理有利于自然运动,而中等粒度代理有利于一致性。
- 论文提出了 Coda-DaVinci,一个任务自适应的 agentic 框架,该框架在代理引导生成与直接生成之间进行选择,按实体调整建模粒度,并通过持久化场景工作区、视觉检查与独立验收审查来协调物理仿真和基于代理的提示词生成。
- 论文从实验上刻画了 Code2Video 在不同任务、agent 与生成器组合、渲染引擎和长视频设置下的能力与局限。论文报告了在 VTR 上领先的指令遵循表现、在 R2M 上领先的场景一致性、在 World Models’ Last Exam in Physics 上相比直接生成更高的物理合理性、在 T2AV-Compass 子集上相比所比较的 Code2Video 基线更高的视觉真实感,以及在转换稳定性和设定遵循方面仍存在的局限。
引言
近期的视频生成模型可以从文本或参考媒体合成逼真片段,但在详细指令遵循、场景状态一致性和物理合理交互方面仍然存在困难。Code2Video 方法通过使用 coding agent 构建并渲染一个 3D 代理来引导视频合成,以应对这一问题;然而现有方法对代理设计较为敏感:过于精细的代理可能引入几何或运动误差、降低运动自然性,并使提示词对齐更加复杂。作者通过受控人类评估研究这些权衡,并得出针对代理粒度、物理仿真和提示词设计的任务相关准则。作者的主要贡献是 Coda-DaVinci,一个任务自适应的 agentic 框架,它有选择地使用 3D 建模、中等粒度或粗粒度代理、基于 Blender 的物理仿真、agent 编写的提示词、持久化场景资产和视觉反馈,从而在指令遵循、一致性和物理合理性方面优于此前的 Code2Video 和直接生成基线。
方法
作者提出了 Coda-DaVinci,一个面向 code-to-video 生成的任务自适应 agentic 框架。该框架根据具体任务需求动态选择生成路径,并采用定制的建模与提示词策略。执行框架协调整个场景构建和视频合成过程,利用视觉反馈指导迭代修改。
如下图所示:
流水线从任务路由开始,框架在此评估输入指令和参考媒体。对于需要精确控制场景结构或运动的任务,系统选择利用场景和运动控制的 3D 引导路径。相反,对于以自然身体运动为中心、不需要显式控制的任务,系统选择直接生成,以避免简化代理动画可能带来的僵硬感。
在任务自适应的代理构建阶段,框架采用按实体划分的建模策略。框架使用 G1 策略处理环境和结构化物体,负责刚体与碰撞几何,而 G0 策略通过位置和朝向控制管理人物主体。系统集成 Blender 物理仿真来计算轨迹、处理碰撞、预测形变并模拟因果交互。一个 lead generation agent 在共享 Blender 工作区中协调该过程,将可分离的建模任务委派给 coding subagent,并整合返回的资产以供检查。
在代理构建之后,框架过渡到基于代理的合成阶段。agent 检查渲染出的代理序列,如果所描述事件偏离初始请求,则修改场景代码。随后,agent 制定合成提示词,将主体描述与相应的代理实体和外观参考关联起来,确保提示词跟随代理动作,同时指定细粒度视觉细节。在合成之前,执行框架验证代理视频与其镜头描述之间的一致性。生成工具随后将提示词、代理视频和参考媒体传递给视频模型以生成候选视频。直接生成路径绕过代理,直接提供任务衍生的动作和相机提示词以及可用的参考。
为确保高质量输出,系统实现了稳健的审查与修复机制。视觉检查将生成帧与对应的代理视图并排比较,以定位差异。源自代理的错误会触发场景代码修改,而合成引起的差异则促使调整提示词或参考输入。一个独立验收 agent 根据原始任务标准评估每个候选视频,包括任务成功、人体运动、场景一致性和视觉质量。如果未满足要求,执行框架会定位失败原因并返回具体修复指令,维持持续反馈循环,直到最终视频被接受。
实验
第一组实验通过跨场景重访、指令遵循和物理仿真基准改变代理粒度、物理仿真和提示词增强,分析 code-to-video 设计选择。结果表明,Code2Video 最一致地提升一致性和指令遵循,而精细运动仍具有挑战性;具有物理仿真和 agent 引导提示词增强的中等粒度代理构成最佳整体配置,而粗粒度代理可以在运动密集型任务上改善自然性。第二组实验将 Coda-DaVinci 与直接生成、agentic 基线和其他 code-to-video 方法进行比较,发现它在场景一致性和指令遵循方面领先,显式场景建模提高了物理保真度,自适应路由保持了视觉真实感。消融实验显示,该方法在不同 coding agent 上具有稳健性,独立审查和按实体粒度带来收益,Blender 在更高 token 成本下带来更高质量;长视频和定性结果表明,可复用的 3D 场景支持跨片段的状态持久性,但在过渡和连续性方面仍存在一些局限。
在评估基准上,显式 3D 代理配置相比直接生成提高了一致性和指令遵循。在 WorldMemBench 和 Principia 上,这些配置在所有四个评估维度上均优于直接生成;而在 VGIF-Bench 上,它们提高了指令遵循,但在物理合理性和自然性/真实感上往往得分较低。最佳整体配置 G1/P1/PE2 在汇总的四指标均值以及一致性、指令遵循和物理合理性平均值上领先,尽管其自然性/真实感平均值落后于一种更粗粒度的代理设置。在 WorldMemBench 和 Principia 上,所有结构化配置在一致性、指令遵循、物理合理性和自然性/真实感上均优于直接生成。在 VGIF-Bench 上,结构化配置提高了指令遵循,但往往会降低物理合理性和自然性/真实感。在固定 PE0 的情况下,粗粒度代理在 VGIF-Bench 的物理合理性和自然性上领先,而中等粒度代理通常在一致性上领先。G1/P1/PE2 在汇总的四指标均值以及一致性、指令遵循和物理合理性平均值上排名第一;G0/P1/PE0 在自然性/真实感上排名第一。
在汇总的基准样本上,每种测试配置都提高了四指标均值和自然性与真实感平均值。指令遵循和物理合理性要么提高要么保持不变,而一致性则双向变化。最大均值增益和最大物理合理性增益出现在 G1/PE2 配置下。四指标均值和自然性与真实感平均值在列出的每种配置下均提高。物理合理性和指令遵循从未下降,但一致性在 G0/PE0 和 G2/PE0 下出现下降。G1/PE2 产生了最大的四指标平均增益和最大的物理合理性提升。
在固定 G1 的情况下,在两种物理设置下,PE2 在一致性、指令遵循、物理合理性和自然性上的平均表现均优于 PE1,且在 P1 下均值增益更大。与 PE0 相比,在 P1 下 PE2 带来较小的整体提升,主要由一致性、指令遵循和物理合理性驱动,而自然性和真实感略有下降。在 P0 下,PE2 和 PE0 的平均表现几乎相当。在两种物理设置下,PE2 在所有四个指标上均优于 PE1,且在 P1 下均值提升更强。PE2 与 PE0 相比,在 P1 下一致性和指令遵循有显著提升,但自然性和真实感略有下降。
与直接生成相比,agentic 视频生成方法提高了整体考试得分、R2M、VTR 以及大多数 T2AV-Compass 场景理解维度。Codex + VideoWeaver 在考试得分、R2M、VTR、局部几何和状态上总体最强,而直接生成在物体得分和词错误率上仍然领先。结果表明,加入显式场景建模有助于指令遵循和与状态相关的指标,但并不会均匀改善所有评估维度。Codex + VideoWeaver 在 Last Exam 得分、R2M、VTR、局部几何和状态上领先;Claude + VideoWeaver 在 T2AV-Compass 场景 ID 上领先。直接生成具有最佳物体得分和最低词错误率,显示出显式建模方法中的权衡。
添加 coding agent 相比直接生成提高了平均视频质量,并且在不同被测 coding agent 之间整体得分保持相似。移除独立验收、自适应路由或按实体粒度都会降低所有评估维度,其中独立验收对一致性的贡献最大。Blender 和 Three.js 均比直接生成有所提升;Blender 在各维度上得分更高,但需要的 agent token 约为后者的两倍。在 Seedance 2.5 子集上,直接生成的均值低于 coding agent 配置。独立验收对视觉一致性尤其重要;固定路由或统一实体粒度主要影响指令遵循和美学质量。Blender 在所有四个维度上优于 Three.js,但 token 成本大约翻倍。
这些实验在多个基准上将显式 3D 代理配置和 agentic 视频生成流水线与直接生成进行比较。结构化代理设置通常提高一致性和指令遵循,其中 G1/P1/PE2 整体表现最佳,尽管自然性和真实感可能更有利于粗粒度代理,且 VGIF-Bench 在物理合理性方面表现出权衡。Agentic coding 流水线相比直接生成提高了平均视频质量和与考试相关的指标,其中 Codex + VideoWeaver 在场景和状态理解上最强,而直接生成在物体保真度和词错误率上仍然更好;消融实验显示,独立验收和 Blender 对一致性和质量有显著贡献。