硅谷押注虚拟环境打造下一代AI代理

硅谷正押注“模拟环境”来训练下一代AI代理。尽管多年来科技巨头不断宣传AI代理能自主操作软件完成任务，但当前的消费者级AI代理如ChatGPT Agent或Perplexity Comet仍显稚嫩。要让AI代理真正可靠，行业正转向一种新方法：强化学习（RL）环境——即模拟真实工作场景的互动式训练平台。 这些环境被视作AI发展的“新数据集”。它们模拟用户在浏览器、办公软件或代码编辑器中的操作，让AI代理在其中完成多步骤任务，如在亚马逊购买一双袜子。系统通过奖励机制评估代理表现，反馈其行为是否正确。这类任务看似简单，实则复杂：代理可能迷失在菜单中，或误购过多商品，因此环境必须能捕捉各种异常行为并提供有效反馈。 如今，OpenAI、Anthropic、Google和Meta等头部AI实验室都在自建RL环境，但因开发难度高，纷纷寻求第三方供应商。这催生了一批新创企业，如Mechanize Work和Prime Intellect，前者专注为AI编程代理打造高质量环境，甚至开出50万美元年薪吸引工程师；后者则推出“Hugging Face式”的RL环境共享平台，推动开源生态发展。 传统数据标注公司也加速布局。Surge年收入达12亿美元，已组建专门团队开发RL环境；Mercor估值100亿美元，正为编程、医疗、法律等垂直领域构建专用环境。尽管Scale AI因Meta投资和CEO离职而失去部分客户，但仍积极转型，称其具备快速适应新趋势的能力。 然而，RL环境仍面临挑战。部分专家担忧“奖励欺骗”问题——AI可能通过漏洞获取奖励而非真正完成任务。OpenAI工程负责人Sherwin Wu也表示，当前市场中优质RL环境供应商仍稀缺。AI研究者Andrej Karpathy虽看好环境与代理交互的潜力，但对强化学习本身持保留态度，认为其进步空间可能已接近瓶颈。 尽管如此，RL环境已被视为突破当前AI性能瓶颈的关键路径。OpenAI的o1和Anthropic的Claude Opus 4等前沿模型已证明其价值。未来，能否构建出可规模化、通用性强、抗欺骗的环境，将成为决定AI代理能否真正“自主”的关键。