HyperAI超神经
18 days ago

具身网络代理:弥合物理-数字领域以实现集成代理智能

Yining Hong, Rui Sun, Bingxuan Li, Xingcheng Yao, Maxine Wu, Alexander Chien, Da Yin, Ying Nian Wu, Zhecan James Wang, Kai-Wei Chang
具身网络代理:弥合物理-数字领域以实现集成代理智能
摘要

目前的人工智能代理大多处于孤立状态——它们要么在线检索并推理大量数字信息和知识;要么通过具身感知、规划和行动与物理世界互动——但很少同时具备这两种能力。这种分离限制了它们解决需要整合物理和数字智能的任务的能力,例如根据在线食谱烹饪、使用动态地图数据导航或利用网络知识解释现实世界的地标。我们提出了具身网络代理(Embodied Web Agents)这一新型范式,旨在无缝连接具身性和大规模网络推理。为了实现这一概念,我们首先开发了具身网络代理任务环境,这是一个统一的模拟平台,将逼真的三维室内和室外环境与功能性的网络界面紧密集成。在此平台基础上,我们构建并发布了具身网络代理基准测试(Embodied Web Agents Benchmark),该基准测试涵盖了一系列多样化的任务,包括烹饪、导航、购物、旅游和地理定位——所有这些任务都需要在物理和数字领域之间进行协调推理,以系统评估跨域智能。实验结果揭示了当前最先进的人工智能系统与人类能力之间的显著性能差距,这既指出了挑战也带来了机遇,特别是在具身心智与大规模知识获取的交汇点上。所有数据集、代码和网站均已在我们的项目页面 https://embodied-web-agent.github.io/ 公开提供。