要約

コンピュータ操作エージェントの学習には、膨大なGUI操作データが必要であるが、スケールに応じた行動軌道の手動ラベル付けは現実的に不可能なコストを要する。本研究では、Web規模の公開スクリーンレコーディング動画から自動的に学習データを抽出するスケーラブルなパイプライン「VideoAgentTrek」を提案する。これにより、手動ラベル付けの必要性が完全に排除される。本手法が克服する重要な課題は、原始的な動画には隠れた操作例（implicit demonstrations）は含まれるものの、明示的な行動ラベルが欠如している点である。この課題を解決するため、2つの構成要素を備えた逆動力学モジュール（Inverse Dynamics Module: IDM）「Video2Action」を構築した。第1に、GUI操作を正確な時系列的境界と文脈とともに検出・局所化する「ビデオグランドイングモデル」を導入し、第2に、クリック座標や入力テキストといった構造化パラメータを高精度で抽出する「行動内容認識器」を採用した。本パイプラインを39,000本のYouTubeチュートリアル動画に適用した結果、自動的に152万ステップの操作履歴を生成した。得られたデータは、継続的事前学習（continued pretraining）の後、教師あり微調整（supervised fine-tuning）に活用された。OSWorld-Verifiedベンチマークにおいて、本手法はタスク成功率を9.3%（SFTのみのベースライン）から15.8%まで向上させ、相対的に70%の改善を達成した。また、AgentNetBenchではステップ精度が64.1%から69.3%に向上した。本研究の結果は、インターネット上に存在する受動的（passive）な動画が、コンピュータ操作エージェントの高品質な教師信号に変換可能であることを示しており、高コストな手動ラベル付けに代わるスケーラブルな代替手段を提供するものである。