AgentsNet: 다중 에이전트 LLM에서의 조정 및 협력적 추론

대형 언어 모델(LLMs)은 특히 다중 에이전트 시스템으로 구성될 때 강력한 문제 해결 능력을 보여주었습니다. 그러나 이러한 시스템의 등장은 복잡한 에이전트 네트워크가 효과적으로 자가 조직화하고 협력할 수 있는 능력에 대한 여러 질문을 제기합니다. 표준 추론 벤치마크에서 성능을 측정하면 다중 에이전트 시스템이 얼마나 잘 추론 과제를 해결하는지 나타낼 수 있지만, 이들 시스템이 네트워크 구조를 효과적으로 활용할 수 있는지는 불분명합니다. 이에 우리는 AgentsNet이라는 새로운 다중 에이전트 추론 벤치마크를 제안합니다. 분산 시스템과 그래프 이론의 고전적인 문제에서 영감을 얻어, AgentsNet은 주어진 네트워크 구조 하에서 다중 에이전트 시스템이 어떻게 협력하여 문제 해결 전략, 자가 조직화, 그리고 효과적인 의사소통을 형성하는지를 측정합니다. 우리는 AgentsNet에서 다양한 기준 방법들을 평가하였으며, 이 중에는 먼저 조직과 의사소통을 위한 기본 프로토콜에 동의해야 하는 동질적 에이전트 네트워크도 포함되었습니다. 연구 결과, 일부 최신 LLMs는 작은 규모의 네트워크에서는 뛰어난 성능을 보였지만, 네트워크 규모가 커짐에 따라 성능이 저하되기 시작했습니다. 기존의 다중 에이전트 벤치마크는 최대 2-5개의 에이전트만을 다루지만, AgentsNet은 규모 면에서 실질적으로 무한하며 새로운 세대의 LLMs와 함께 확장될 수 있습니다. 따라서 우리는 최대 100개의 에이전트까지 포함하는 설정에서 최신 모델들을 탐구하였습니다.