Jinyeop Song Jeff Gore Max Kleiman-Weiner

要約

言語モデル（LM）エージェントがより高度な能力を備え、現実世界のツールへのアクセスも広がる中で、エージェント能力をスケーラブルに評価するフレームワークの必要性が高まっている。しかし、従来のベンチマーク中心の評価手法は設計に多大なコストを要し、人間の設計者がモデルの一般能力に関する洞察をもたらす妥当なタスクを考案しなければならないという課題がある。本研究では、エージェントの行動と将来の状態との間の相互情報量である「エンパワーメント」に基づく情報理論的評価手法を提案する。この手法は、LMエージェントの能力をオープンエンドに評価するための新しいアプローチである。さらに、複数ターンのテキスト対話から有効なエンパワーメントを近似するためのアルゴリズム「EELMA（Estimating Empowerment of Language Model Agents）」を導入する。EELMAは、言語ゲームおよびスケールアップされた現実的なウェブブラウジングシナリオの両方で検証された。その結果、エンパワーメントは平均タスクパフォーマンスと強く相関しており、環境の複雑さや、チェーン・オブ・サウス、モデル規模、記憶長といったエージェント固有の要因が推定されたエンパワーメントに与える影響を明らかにした。また、高いエンパワーメント状態や行動は、一般能力において重要な転換点となることが多く、その意義が示された。以上の結果から、エンパワーメントは複雑かつオープンエンドな設定においてLMエージェントの評価とモニタリングに適した汎用的指標として有望であることが示された。