Crystal Qian Kehang Zhu John Horton Benjamin S. Manning Vivian Tsai et al

초록

전통적으로 인간이 수행해 온 조율 작업이 점점 더 자율 에이전트에 위임되고 있다. 이러한 추세가 지속됨에 따라, 단순히 에이전트의 성과를 평가하는 것뿐 아니라, 동적이고 다중 에이전트 환경에서 에이전트들이 어떻게 협상하는지를 분석하는 것이 더욱 중요해지고 있다. 또한 다양한 에이전트는 각각 고유한 장점을 지닌다. 예를 들어, 베이지안 모델과 같은 전통적인 통계적 에이전트는 조건이 명확히 설정된 환경에서는 뛰어난 성능을 발휘할 수 있으나, 대규모 언어 모델(Large Language Models, LLMs)은 다양한 맥락으로 일반화할 수 있다. 본 연구에서는 동일한 조건에서 직접 비교가 가능한 동적 협상 환경에서 인간(N = 216), LLM(GPT-4o, Gemini 1.5 Pro), 그리고 베이지안 에이전트를 비교함으로써, 성과뿐 아니라 행동적 동역학까지 포괄적으로 분석하였다. 베이지안 에이전트는 공격적인 최적화를 통해 가장 높은 잔여가치(surplus)를 창출하지만, 이에 비해 거래 거부가 빈번하게 발생한다. 반면 인간과 LLM은 유사한 총 잔여가치를 달성하지만, 그 행동 방식은 상이하다. LLM은 거래 거부가 적은 보수적이고 양보적인 전략을 선호하는 반면, 인간은 더 전략적이고 위험을 감수하며 공정성에 중점을 둔 행동을 보인다. 따라서 본 연구는 성과의 동등성(performance parity) — 에이전트 평가에서 흔히 사용되는 기준 — 가 과정적 차이와 일치성(alignment)의 근본적인 차이를 가리고 있을 수 있음을 밝혔다. 이러한 차이는 실제 세계의 조율 작업에 에이전트를 도입할 때 매우 중요한 요소이다.