Jinyeop Song Jeff Gore Max Kleiman-Weiner

摘要

随着语言模型（LM）代理的能力不断增强，并逐步获得对现实世界工具的广泛访问权限，对可扩展的代理能力评估框架的需求日益增长。然而，传统的以基准测试为中心的评估方法在设计上成本高昂，且需要人工设计者提出有效的任务，以转化为对模型通用能力的深入理解。在本研究中，我们提出基于“赋能”（empowerment）的信息论评估方法，即代理行为与未来状态之间的互信息，作为评估语言模型代理的一种开放式方法。我们引入EELMA（Estimating Empowerment of Language Model Agents）算法，用于从多轮文本交互中近似计算有效赋能值。我们在语言游戏和大规模真实网络浏览场景中对EELMA进行了验证。结果表明，赋能值与平均任务表现具有强相关性；我们进一步刻画了环境复杂性以及代理相关因素（如思维链、模型规模和记忆长度）对估算赋能值的影响；同时发现，高赋能状态和行为往往对应着模型通用能力的关键转折点。综上，这些结果表明，赋能是一种极具潜力的通用指标，可用于在复杂、开放式场景中对语言模型代理进行评估与监控。