要約

視覚言語モデル（VLMs）は、GUIを自律的に操作するコンピュータ利用エージェント（CUAs）の実現を可能にし、大きな潜在力を示している。しかし、大規模なオープンソースのコンピュータ利用データおよび基盤モデルの不足により、その進展は制限されている。本研究では、オープンソースのCUAsをスケーリングする一歩として、ScaleCUAを提案する。本研究は、自動化エージェントと人間の専門家を統合したクローズドループパイプラインにより構築された、6つのオペレーティングシステムおよび3つのタスク領域をカバーする大規模データセットを提供する。この拡張されたデータで訓練されたScaleCUAは、複数のプラットフォーム間でシームレスに動作可能である。具体的には、ベースラインに対して顕著な性能向上を達成しており、WebArena-Lite-v2では+26.6、ScreenSpot-Proでは+10.7の向上を示し、MMBench-GUI L1-Hardでは94.4%、OSWorld-Gでは60.6%、WebArena-Lite-v2では47.4%という、新たな最先端の成績を記録した。これらの結果は、汎用的なコンピュータ利用エージェントにおけるデータ駆動型スケーリングの有効性を示している。今後、研究の進展を促進するため、データ、モデル、コードを公開する予定である。詳細は以下より：https://github.com/OpenGVLab/ScaleCUA