コンピュータ使用（Computer Use）とは、エージェントが人間のようにコンピュータを使用すること、つまり専用インターフェースに依存することなく、画面を確認し、マウスを操作し、キーボードを入力し、ソフトウェア間を切り替えることを指します。これは「ラストワンマイル」の問題を解決するものであり、多くのソフトウェアにはAPIが存在しないか、APIの機能が限られているため、人間が操作するのと同じ方法でエージェントにも操作させる必要があります。

コンピュータ使用の公開的な起点は、2024年10月にAnthropicが公開したモデル機能（公式説明）です。このモデルはスクリーンショットと座標を用いてデスクトップを直接操作します。同時期に、Xieらによる論文 OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments において、初めてスケーラブルな実コンピュータ環境のベンチマークが構築されました。

コンピュータ使用の評価方式は、実行ベースの評価です。OSWorldはUbuntu、Windows、macOSの実際のシステム上で環境を構築し、ウェブおよびデスクトップアプリケーション、ファイルの読み書き、複数アプリケーションの連携にまたがる369のタスクを提供しています。各タスクは実際の使用シナリオに基づいており、最終的な回答のみを見る評価とは異なり、実行ベースの評価ではタスク完了後のシステム状態を確認するため、「実際に業務が完了した」ことに近くなります。

コンピュータ使用の技術的なループは「見る—考える—クリックする」です。マルチモーダルモデルはスクリーンショットを座標とアクションに変換します。これにより「コンピュータを使いこなす」ことが測定可能かつ再現可能な能力となり、汎用デジタルアシスタントのための能力基準を定めました。一方で課題も明確です。それは、インターフェース要素の特定（grounding）、長期的なタスクにおけるエラーの蓄積、操作失敗後の復旧、そして誤クリックや誤削除に伴うセキュリティリスクです。

[JIALIU_0]