HyperAIHyperAI

Command Palette

Search for a command to run...

Aria-UI: GUI指示の視覚的根拠付け

Yuhao Yang; Yue Wang; Dongxu Li; Ziyang Luo; Bei Chen; Chao Huang; Junnan Li

概要

異なるプラットフォーム間でタスクを自動化するためのデジタルエージェントがますます重要になっています。これらのエージェントにおいて、言語指示から目標要素への対応付けは、HTMLやAXTree入力に依存しているため、依然として大きな課題となっています。本論文では、GUI接地のために特別に設計された大規模マルチモーダルモデルであるAria-UIを紹介します。Aria-UIは純粋なビジョンアプローチを採用し、補助的な入力に依存することなく動作します。多様な計画指示に対応するために、我々は高品質な接地指示サンプルを合成するスケーラブルなデータパイプラインを提案します。また、タスク実行中の動的なコンテキストに対処するために、Aria-UIはテキストとテキスト-画像交互のアクション履歴を取り入れており、堅牢なコンテキスト認識に基づく接地が可能となっています。Aria-UIはオフラインおよびオンラインエージェントベンチマークにおいて新しい最先端の結果を示しており、ビジョンのみを使用する基準モデルやAXTreeに依存する基準モデルを上回っています。我々はすべての訓練データとモデルチェックポイントを公開し、さらなる研究の促進を目指しています(https://ariaui.github.io)


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています