NVIDIA 研究团队近日开发了一种名为 DiffusionRenderer 的新技术，可以在视频中实现光照控制、修改和合成数据增强。这项技术通过 AI 来模拟真实世界中的光线行为，将反向渲染和前向渲染两个传统过程结合在一个统一的神经渲染引擎中，性能超越了现有方法。DiffusionRenderer 可以轻松地将白天场景变成夜景，或调整晴朗天气下的光线为阴天的氛围，还能将强烈的荧光灯光效柔和化为自然光效。 这项技术的关键在于它可以从仅有的 2D 视频数据中估计出物体的各种物理属性，如表面法线、金属度和粗糙度。这些属性的计算使 DiffusionRenderer 能够生成新的阴影和反射，改变光源，编辑材料，并在场景中插入新对象，同时保持照明条件的真实性。对于自动驾驶车辆（AV）和机器人技术的开发者而言，这意味着他们可以通过增强数据集增加不同光照条件下的训练样本，从而提高模型对复杂光照环境的适应能力。 在电影、广告和游戏开发等创意行业中，DiffusionRenderer 同样具有巨大的应用潜力。创作者可以利用基于该技术的应用工具，在实际拍摄或 AI 生成的视频中添加、移除和修改照明效果，探索多种照明选项，而无需投入高昂的成本进入专业的光影捕捉系统进行后期处理。这不仅大大节省了时间和成本，还提高了创作的灵活性和效率。 自最初的研究论文发布以来，NVIDIA 研究团队进一步将 DiffusionRenderer 与 Cosmos Predict-1 集成，后者是 NVIDIA Cosmos 平台的一部分，包含一系列用于生成逼真物理状态的基础模型。通过集成 Cosmos Predict-1 更强大、更大规模的视频扩散模型，研究人员发现这一变化显著提升了 DiffusionRenderer 的去光和重光能力，使其生成更锐利、准确和时间一致的结果。 NVIDIA Cosmos 是一个加速合成数据生成的平台，特别适用于物理 AI 开发。平台提供的基础模型、分词器、保护机制以及加速的数据处理和管理流程，使 DiffusionRenderer 在物理 AI 领域的应用更加广泛和深入。 在今年 6 月 11 日至 15 日于纳什维尔举办的计算机视觉和模式识别（CVPR）会议上，NVIDIA 研究团队将展示数十篇涵盖自动驾驶、医疗健康、机器人等领域的论文。其中包括三篇被提名为 2023 年最佳论文奖的文章。此外，NVIDIA 还连续三年在 CVPR 自动驾驶大挑战中获得冠军。 NVIDIA Research 作为一个全球性的科学和工程研究团队，专注于多个前沿领域，包括人工智能、计算机图形学、计算机视觉、自动驾驶汽车和机器人技术。此次 DiffusionRenderer 技术的突破再次证明了 NVIDIA 在这些领域的领先地位。 业内人士认为，DiffusionRenderer 的推出将为各行各业的视频制作带来革命性的变化，特别是在增强真实感和提高数据多样性方面。对于 NVIDIA 来说，这一技术不仅是其在计算机视觉和深度学习领域的又一成就，也为其在自动驾驶和机器人领域的持续发展提供了重要支持。