WebWatcher：視覚言語ディープリサーチエージェントの新たな地平を切り開く

ディープリサーチのようなウェブエージェントは、極めて困難な情報検索課題を解決できる超人的な認知能力を示しており、その可能性が注目されている。しかし、現状の多くは主にテキスト中心のアプローチにとどまっており、現実世界における視覚的情報を十分に活用していない。このため、視覚情報とテキスト情報の両方を統合するマルチモーダルなディープリサーチは極めて困難であり、テキストベースのエージェントと比べて、知覚、論理、知識活用、および高度なツールの利用においてより強力な推論能力が求められる。この課題に対処するため、本研究では視覚言語推論能力を強化したマルチモーダル・エージェント「WebWatcher」を提案する。WebWatcherは、高品質な合成マルチモーダルトラジェクトリを活用して効率的なコールドスタート学習を実現し、多様なツールを用いて深層的な推論を実行する。さらに、強化学習を用いたアプローチにより、汎化性能を向上させる。マルチモーダルエージェントの能力をより適切に評価するため、視覚情報とテキスト情報の両方を含む複雑な情報検索を必要とする「BrowseComp-VL」というベンチマークを提案する。実験結果から、WebWatcherは、4つの困難なVQA（視覚言語質問応答）ベンチマークにおいて、プロプライエタリなベースライン、RAGワークフロー、およびオープンソースエージェントを大幅に上回ることが明らかになった。本研究の成果は、複雑なマルチモーダル情報検索タスクを解決するための道筋を示している。