要約

Web、デスクトップ、モバイル環境の間で汎化するエージェントの構築は、依然として未解決の課題である。従来のシステムは環境特有のインターフェースに依存しており、クロスプラットフォームへの展開を制限している。本研究では、視覚的観測のみを入力として用いる統一型アーキテクチャ「Surfer 2」を提案する。Surfer 2は、すべての環境で最先端の性能を達成しており、タスク特化的な微調整なしに、既存のすべてのシステムを上回っている。本システムは、階層的コンテキスト管理、計画と実行の分離、自己検証と適応的回復を統合しており、長時間のタスクスケジュールにおいても信頼性の高い動作を実現している。評価結果では、WebVoyagerで97.1%、WebArenaで69.6%、OSWorldで60.1%、AndroidWorldで87.1%の精度を達成し、すべてのベンチマークで人間のパフォーマンスを複数回の試行により上回っている。これらの結果は、体系的な制御戦略が基礎モデルの能力を拡張し、視覚的インタラクションのみで汎用的なコンピュータ制御を可能にすることを示している。同時に、パレート最適なコスト効率を達成する次世代の視覚言語モデルの開発が、今後の課題であると示唆している。