Shape-for-Motion：基于3D代理的精确一致视频编辑

近期在深度生成建模领域的进展为视频合成带来了前所未有的机遇。然而，在实际应用中，用户通常寻求能够忠实实现其创意编辑意图的工具，以实现精确且一致的控制。尽管现有方法已经取得了一定的进展，但确保与用户意图的高度一致性仍然是一个开放且具有挑战性的问题。在本研究中，我们提出了一种名为Shape-for-Motion的新框架，该框架通过引入3D代理来实现精确且一致的视频编辑。Shape-for-Motion通过将输入视频中的目标对象转换为时间一致的网格（即3D代理），允许直接在代理上进行编辑，然后将这些编辑推断回视频帧中。为了简化编辑过程，我们设计了一种新颖的双传播策略（Dual-Propagation Strategy），使用户能够在单个帧的3D网格上进行编辑，并自动将这些编辑传播到其他帧的3D网格上。不同帧的3D网格进一步投影到2D空间，生成编辑后的几何和纹理渲染图，作为解耦视频扩散模型的输入，用于生成最终的编辑结果。我们的框架支持多种精确且物理一致的操作，包括姿态编辑、旋转、缩放、平移、纹理修改和对象组合。我们的方法标志着向高质量、可控视频编辑工作流程迈出的关键一步。广泛的实验验证了我们方法的优势和有效性。项目页面：https://shapeformotion.github.io/