Command Palette
Search for a command to run...
PhysLoop:利用大语言模型的物理感知实现视频生成模型的自我改进
PhysLoop:利用大语言模型的物理感知实现视频生成模型的自我改进
摘要
视频生成模型能够生成视觉上逼真的视频,但在物理动力学和因果一致性方面仍存在不足。从生成视频中学习需要细粒度的物理监督,然而可靠的质量判断、修正配对和受控变化难以获得。大语言模型(LLM)具备物理知识,但难以可靠地引导视频生成模型生成其训练视频。我们提出了 PhysLoop,一个统一的框架,旨在支持视频生成模型中基于物理的自我改进。该框架在视频生成、选择和修正的全过程中引导并约束 LLM,将其物理知识蒸馏为物理一致的视频。该框架支持可控的训练数据构建和推理时的视频修复。通过识别并纠正失败案例,PhysLoop 标志着在有限人工干预下实现视频生成模型递归自我改进(RSI)的一个关键里程碑。我们发布了 10 万个涵盖多样化、真实室内外场景的视频,以及生成工具和两个评估数据集:PhysLoop-Gen 和 PhysLoop-Repair。我们分别在这些数据集上评估可控生成和局部修复,并在外部 Physics-IQ Verified 基准上评估物理行为。
一句话总结
北京大学、字节跳动 Seed、加州大学圣塔芭芭拉分校、MIT 等机构的研究人员提出了 PhysLoop,这是一个统一框架,可在整个视频生成、筛选和修正过程中引导并约束 LLM,将物理知识提炼到物理一致的视频中,从而实现可控训练数据构建、推理时视频修复和递归自我改进;同时发布了 10 万个多样化室内外视频,以及 PhysLoop-Gen 和 PhysLoop-Repair 评估数据集,并在外部 Physics-IQ Verified 基准上评估物理行为。
核心贡献
- PhysLoop 是一个统一框架,可在整个视频生成、筛选和修正过程中引导并约束 LLM,将物理知识提炼到物理一致的视频中,支持可控训练数据构建和推理时视频修复。
- PhysLoop 提供了失败识别、修正和验证的共享工作流,将诊断与基于仿真的修正连接起来。它同时评估目标物理错误的解决情况以及未受影响内容的保留情况。
- 发布内容包括 10 万个视频,涵盖多样化、真实感的室内外场景、生成工具,以及两个评估数据集 PhysLoop-Gen 和 PhysLoop-Repair。报告了可控生成、局部修复以及外部 Physics-IQ Verified 基准上的物理行为评估结果。
引言
视频生成模型可以生成时间上连贯、视角上一致的场景,但视觉真实不代表物理或因果一致;物体会凭空出现或消失,接触可能没有合理的响应,运动可能与重力、惯性或接触力相冲突。收集系统性变化物理条件的真实视频,很难在保持受控设置和可靠标注的同时进行规模化扩展,而针对特定物理失败的微调数据同样难以获得。当前的自我改进流程也面临困难,因为通用多模态评估器无法可靠判断物理有效性,因此仅生成更多视频本身并不能产生可靠的学习信号。作者提出了 PhysLoop,这是一个统一框架,引导 LLM 在仿真器中运用其已有的物理知识,通过物理评估和迭代修正来构建训练数据并修复生成视频。作者发布了 10 万个覆盖常见物理现象的视频、PhysLoop-Gen 和 PhysLoop-Repair 评估数据集以及生成工具,并评估了可控生成、局部修复和物理行为。
数据集
数据集概览
作者描述了一个基于物理的数据流水线和三类资源:
- PhysLoop-100K:包含视频-文本对和仿真标注的训练集。
- PhysLoop-Gen:用于生成的评估集。
- PhysLoop-Repair:用于物理错误修复的评估集。
PhysLoop-100K
- 规模:10 万个通过验证的视频,来自 2500 个不同的物理事件。
- 结构:每个事件平均约有 40 个视频,从 3 到 5 个视角拍摄,并设置 2 到 4 个关键物理参数的多个取值。
- 覆盖类别:运动学、动力学、刚体动力学、磁学、流体力学、柔性与弹性材料、碎裂与断裂。
- 来源与变化:系统自动变化质量、初速度等物理参数,以及资产、场景、光照和相机视角,并包含为每个案例定义的所有有效组合。
- 标注:精细化视频-文本对、生成配置、原始仿真视频、深度图、实例分割图和物体状态。深度、分割和物体状态标注不与精细化视频逐像素对齐。
- 划分协议:将每个源事件及其相机视角和参数变体归为一组。
PhysLoop-Gen
- 规模:100 个生成任务。
- 输入:每个实例包含一个文本请求,部分案例还包含图像参考。
- 覆盖范围:刚体、布料和流体现象,从简单弹跳或滑动到耦合交互和多阶段机械链条。
- 难度定义:基于输入属性,如交互数量、事件顺序和可观察条件,而非特定模型的表现。
- 用途:支持在 PhysLoop 等基于 agent 的框架与直接视频生成模型之间进行比较。
PhysLoop-Repair
- 规模:50 个修复任务。
- 源视频:由不同视频模型生成,包括 Seedance 系列、MiniMax H3 和 Gemini Omni 1.1 Flash。
- 输入:包含物理错误的源视频和可选的修复请求。
- 标注:包括错误描述和时间区间。主评估协议只提供源视频和请求,错误和区间标注仅用于评估。
- 纳入标准:要求存在可观察的错误、指定的修正方式以及需要保留的源内容。
- 评估检查:目标错误消除、与周围事件的衔接以及无关内容的保留。
处理与使用
- 作者使用 agent 在生成场景配置中暴露任务特定参数,例如释放高度和初速度。
- 在保持其他条件不变的情况下改变所选参数。场景和相机设置可编辑,同一仿真可渲染多个视角。
- 任务描述和视觉参考规定要生成的外观。通过最终验证的视频与其任务描述配对,作为训练样本。
- 每个样本保留其生成配置,以便检查、扩展和重新生成。
- 下游训练使用视频-文本对来更新视频生成模型。
- 原始仿真渲染保留同步的深度、分割和物体状态标注。由于精化可能改变几何或物体位置,这些标注与精化后的视频-文本对分开保存,不被视为逐像素对齐的监督信号。
- 所提供的文本未说明裁剪策略或训练混合比例。
方法
作者提出了 PhysLoop,这是一个引导大语言模型通过仿真器和配套工具识别物理错误并生成物理一致视频的框架。系统处理文本请求,可选择附带图像或视频参考,生成或修复视频,同时输出任务说明和执行记录。
该工作流由一个 code agent 编排,该 agent 使用一组专用模块。首先,Planner Agent 将用户请求扩展为详细的任务说明,记录目标事件、构建假设和验证条件。随后,Asset Manager Agent 检索或生成满足视觉和交互要求的三维资产,并根据目标交互检查资产尺度和碰撞几何。视觉网格和物理表示分开处理,以便将详细外观与合适的碰撞代理配对。该 agent 编写场景程序,组合检索到的资产和程序化几何,并渲染低分辨率预览帧,以便在完整仿真前检查摆放。
接着,Executive Agent 驱动物理执行。该框架集成 Unreal Engine 作为主要仿真器,Taichi 和 Genesis 提供额外支持。仿真器适配器将场景配置转换为每个仿真器的输入,并以对齐的坐标和时序传递产生的运动。除 RGB 外,系统还捕获深度、实例分割和物体状态。
在外观精化之前,Verifier Agent 将仿真状态和视觉观察与预定义的事件要求进行比较。如果检查失败,verifier 返回带有支持证据的失败描述,提示 agent 修改配置。一旦仿真检查通过,Refiner Agent 使用视频生成模型将渲染场景调整为请求的视觉外观,并将已验证的仿真视频作为运动参考。随后,Final Verifier Agent 评估精化后的可见行为是否保留目标事件和物理关系。如果任一验证阶段失败,系统会迭代,直到所有检查通过或资源预算耗尽。
对于视频诊断和修复,agent 识别现有视频中的物理或事件级错误,并指定要替换的片段。修复过程仅将源视频 V 中选定的区间 [a,b) 替换为 T 帧。修正后的片段 V^a:b 与源分辨率和帧率匹配,最终输出按如下方式拼接:
V′=V0:a∥V^a:b∥Vb:T其中 ∥ 表示拼接。verifier 在完整视频中评估替换片段,以确保与前后帧一致,并在必要时指导进一步修改。
实验
评估涵盖 PhysLoop-Gen 上的可控视频生成、PhysLoop-Repair 上的诊断和修复,以及 Physics-IQ Verified 上的接续匹配,比较 PhysLoop 配置与独立生成器以及替代的 agent 主干或精化器。人工和自动指标评估物理合理性、因果一致性、视觉质量和任务成功率。PhysLoop 大幅提高了生成和修复成功率,物理一致性和因果一致性的人工评分更高,但其视觉真实感可能落后于独立生成器。案例分析表明,局部运动合理并不足够,因为基线模型通常在事件结果和场景一致性上失败;场景构建、仿真、验证和外观精化各具互补作用。
与独立视频生成器相比,PhysLoop 提高了生成和修复成功率,修复方面的提升尤其明显。加入精化可提高任务成功率和人工评定的视觉真实感,而完整配置在物理合理性和因果一致性的人工评分中处于领先。Physics-IQ 排名与任务成功率排名存在差异,表明精化器和主干的选择会影响性能的不同方面。PhysLoop 将修复从独立生成器的薄弱环节转变为明显优势。精化提高了生成和修复成功率及视觉真实感,同时略微改善物理合理性和因果一致性。人工评分更青睐完整的 PhysLoop 配置,但 Physics-IQ 性能取决于精化器和主干组合。
实验在生成和修复任务上将 PhysLoop 与独立视频生成器进行了比较,测量任务成功率、视觉真实感、物理合理性和因果一致性的人工评分,以及 Physics-IQ。PhysLoop 大幅提升了生成性能,尤其是修复性能,使修复成为优势;精化进一步提高了任务成功率和视觉真实感,并在物理合理性和因果一致性方面带来适度提升。人工评分更青睐完整的 PhysLoop 配置,但 Physics-IQ 排名与任务成功率排名存在差异,表明精化器和主干的选择会影响性能的不同方面。