Jinyeop Song Jeff Gore Max Kleiman-Weiner

초록

언어 모델(LM) 에이전트가 점점 더 강력해지고 현실 세계의 도구에 보다 넓은 접근성을 갖게 되면서, 에이전트 역량에 대한 확장 가능한 평가 프레임워크의 필요성이 커지고 있다. 그러나 기존의 벤치마크 중심 평가 방식은 설계에 비용이 많이 들며, 인간 설계자가 모델의 일반적 역량에 대한 통찰을 얻을 수 있도록 유효한 작업을 도출해내야 하는 점에서 한계가 있다. 본 연구에서는 에이전트의 행동과 미래 상태 간의 상호정보량(mutual information)으로 정의되는 '권한 강화( empowerment)'를 기반으로 한 정보이론적 평가 방법을 제안한다. 이는 개방형 환경에서 LM 에이전트의 역량을 평가하는 데 유연하고 확장 가능한 접근법이다. 또한 다단계 텍스트 상호작용을 통해 효과적 권한을 근사하는 알고리즘인 EELMA(Estimating Empowerment of Language Model Agents)를 제시한다. EELMA는 언어 게임과 확장된 실제 웹 브라우징 시나리오 모두에서 검증되었으며, 권한 강화가 평균 작업 성능과 강한 상관관계를 보임을 확인했다. 또한 환경의 복잡성과 사고의 사슬(chain-of-thought), 모델 규모, 메모리 길이와 같은 에이전트적 요인이 추정된 권한 강화에 미치는 영향을 규명하였고, 높은 권한 강화 상태와 행동은 일반적 역량을 발휘하는 데 중요한 전환점이 되는 경우가 많다는 점을 발견하였다. 이러한 결과들은 복잡하고 개방형 환경에서 LM 에이전트의 평가 및 모니터링에 있어 권한 강화가 매력적인 일반 목적 지표가 될 수 있음을 시사한다.