Tanvir Bhathal Asanshay Gupta

要約

我々は、Web環境との対話を視覚認識のみを通じて行う視覚ベースの自律型Webエージェント「WebSight」を紹介する。このエージェントはHTMLやDOMに基づく入力に依存せず、純粋に視覚的情報を用いて動作する。本研究の中心となるのは、UI要素とのインタラクションを最適化した視覚言語モデル「WebSight-7B」の開発である。このモデルは、Wave-UI-25KデータセットのWebに特化したサブセットを用いてLoRA（Low-Rank Adaptation）による微調整によって訓練されたものである。WebSightは、計画、推論、視覚-行動、検証の各エージェントから構成されるモジュール型マルチエージェントアーキテクチャにこのモデルを統合しており、エピソード記憶機構によって各エージェントが連携して動作する。 WebSight-7Bは「Showdown Clicks」ベンチマークにおいてトップ1精度58.84％を達成し、より大きな汎用モデルを上回る性能を発揮しつつ、低レイテンシを維持している。完全版のWebSightエージェントは「WebVoyager」ベンチマークで68.0％の成功率を記録し、OpenAI（61.0％）やHCompany（Runner H、67.0％）のシステムを上回った。完了されたタスクのうち、WebSightは97.14％の正確性を達成しており、高い精度を示している。これらの結果から、WebSightおよびWebSight-7Bは、解釈可能性、堅牢性、効率性を兼ね備えた視覚ベースのWebナビゲーションの新しい基準を確立したと言える。