HyperAIHyperAI

Command Palette

Search for a command to run...

MIT团队推出AI新方法,让机器人在无限逼真的虚拟世界中自主学习

麻省理工学院计算机科学与人工智能实验室(CSAIL)联合丰田研究院推出了一种名为“可控场景生成”的新方法,利用生成式AI为机器人构建无限多样且高度逼真的虚拟训练环境。该技术旨在解决机器人训练中真实场景数据获取难、成本高、重复性差的问题。 传统机器人训练依赖大量真实世界操作视频,但采集过程耗时且难以控制变量。此前的模拟方案或依赖AI生成数据(常违背物理规律),或需手动搭建场景,效率低下。而“可控场景生成”通过结合扩散模型与蒙特卡洛树搜索(MCTS),实现了对3D虚拟环境的程序化、可控制生成。 该系统在超过4400万个3D房间数据集上训练,能将现有物体资产智能布置到厨房、客厅、餐厅等场景中,并通过AI“内部绘制”方式逐步填充和调整,确保物体间不穿模、符合真实物理规律。例如,系统可确保叉子不会穿过碗,避免常见3D渲染错误。 核心创新在于将场景生成视为一个序列决策过程,利用MCTS算法在生成过程中不断评估和优化场景,从而创造出比原始训练数据更复杂、更真实的环境。实验显示,系统可在餐厅场景中成功添加高达34件物品,远超训练数据平均的17件。 此外,系统还引入强化学习机制,通过设定奖励函数引导AI自动优化场景设计,实现多样化、任务导向的场景生成。用户只需输入简单指令,如“一个桌上放有碗和四个苹果的厨房”,系统即可高精度还原,准确率分别达到98%和86%,显著优于同类方法。 该技术还能支持“补全”任务,例如在保留原有物体的基础上重新布局,或生成不同风格的场景。研究团队认为,其优势在于能突破原始训练数据分布,生成真正适合机器人训练的“理想场景”。 尽管目前仍属概念验证阶段,但未来计划引入可动部件(如可开柜门、可倒食物的容器),并整合互联网图像库,实现更丰富的物体与场景生成。团队希望构建开放社区,共同打造大规模机器人训练数据集。 专家评价认为,该方法在保证物理合理性的同时,大幅提升生成效率与多样性,为机器人在真实世界中高效部署提供了关键支持。

相关链接