HyperAIHyperAI

Command Palette

Search for a command to run...

计算机使用 Computer Use

日期

计算机使用(Computer Use)是指智能体像人一样使用计算机——看屏幕、移动鼠标、敲键盘、在软件之间切换,而不依赖专用接口。它要解决的是“最后一公里”:很多软件没有 API,或 API 能力有限,人怎么用,智能体就得怎么用。

计算机使用的公开起点是 2024 年 10 月 Anthropic 发布的一项模型能力(官方说明),模型通过截图与坐标直接操作桌面。同期,Xie 等人在论文 OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments 中构建了首个可扩展的真实计算机环境基准。

计算机使用的评测方式是执行式评估。OSWorld 在 Ubuntu、Windows、macOS 的真实系统里搭建环境,给出 369 个横跨网页与桌面应用、文件读写与多应用串联的任务,每个任务都来自真实的使用场景;与只看最终答案的评测不同,执行式评估会检查任务完成后的系统状态,更接近“真的把事办成了”。

计算机使用的技术闭环是“看—想—点”:多模态模型把屏幕截图转成坐标与动作。它把“会用电脑”变成可测量、可复现的能力,为通用数字助手划定了能力坐标;挑战也很明确:界面元素定位(grounding)、长程任务的错误累积、操作失败后的恢复,以及误点、误删带来的安全风险。

用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供