HyperAIHyperAI

Command Palette

Search for a command to run...

探索多元宇宙:基于开放世界基础模型的合成世界推动物理人工智能革新

在“进入全宇宙”系列文章中,NVIDIA展示了其最新进展:通过开放世界基础模型(WFMs)与NVIDIA Omniverse平台结合,推动物理AI模型的开发。物理AI(如机器人、自动驾驶车辆)需具备实时感知、推理与操作能力,且必须在复杂多变的真实环境中安全运行。然而,真实世界数据采集成本高、覆盖场景有限,甚至存在风险。 为此,NVIDIA推出了升级版NVIDIA Cosmos开放世界基础模型,大幅提升物理AI训练所需合成数据的生成效率。新版本Cosmos Predict 2.5将文本生成世界(Text2World)、图像生成世界(Image2World)和视频生成世界(Video2World)整合为单一轻量化架构,仅需一张图像、视频或文本提示,即可生成多视角、一致且可控的高保真视频世界。 Cosmos Transfer 2.5则实现跨场景的高保真风格迁移,支持在多摄像头环境中灵活切换天气、光照与地形条件,模型体积缩小3.5倍,性能更优,物理仿真精度更高。 这些模型可无缝接入基于NVIDIA Omniverse构建的NVIDIA Isaac Sim开源机器人仿真框架,生成接近真实的视觉数据,显著缩小“仿真到现实”的差距。开发者可采用四步合成数据流水线:从仿真环境构建、数据生成、标注到模型训练与验证。 多家企业已率先应用该技术:Skild AI利用Cosmos Transfer扩展训练数据,结合Isaac Lab实现机器人跨形态、跨任务训练;Serve Robotics借助Isaac Sim生成海量仿真场景,其机器人车队每月采集百万英里真实数据,并完成超十万次城市配送任务;Zipline无人机公司也通过NVIDIA Jetson平台实现无人机配送,并接收DGX Spark个人AI超级计算机,用于边缘AI开发。 此外,Lightwheel通过SimReady资产与合成数据加速机器人仿真落地;矿业公司借助Omniverse生成多样化光照与天气下的合成图像,提升大块岩石检测效率,避免设备停机损失;FS Studio利用Replicator工具生成数千张高保真包装图像,显著提升物流分拣系统准确率;Robots for Humanity为油气行业构建完整仿真环境,采集机器人运动与感知数据。 NVIDIA Omniverse社区成员Scott Dempsey还开发了基于真实规格的电缆合成生成器,用于训练AI识别与处理复杂线缆。 这些实践表明,基于OpenUSD与NVIDIA Omniverse的合成数据正成为物理AI发展的关键驱动力。通过高仿真、可扩展、低成本的数据生成,企业能更高效地训练出更安全、更智能的AI系统。

相关链接