효율적인 에이전트: 비용을 줄이면서 효과적인 에이전트 구축하기

대규모언어모델(LLM) 기반 에이전트의 뛰어난 능력은 복잡한 다단계 작업을 수행할 수 있는 고도화된 시스템의 등장을 가능하게 했지만, 지속적인 비용 증가는 시스템의 확장성과 접근성에 위협이 되고 있다. 본 연구는 현대적 에이전트 시스템에서 효율성과 성능 사이의 트레이드오프를 처음으로 체계적으로 탐구하는 작업으로, 성능을 희생시키지 않으면서도 비용 효율적인 설계를 달성하는 데 있어 핵심적인 필요성을 해결한다. 우리는 다음과 같은 세 가지 핵심 질문을 탐구한다: (1) 에이전트 작업은 본질적으로 어느 정도의 복잡성을 요구하는가? (2) 추가 모듈이 언제 한계 수익 감소( diminishing returns)를 보이는가? (3) 효율적인 에이전트 프레임워크 설계를 통해 얼마나 많은 효율성을 달성할 수 있는가? GAIA 벤치마크를 대상으로 한 실험적 분석을 통해, LLM 백본 선택, 에이전트 프레임워크 설계, 테스트 시스케일링 전략의 영향을 평가한다. 비용-패스(cost-of-pass) 지표를 활용하여 이들 차원에서의 효율성-성능 트레이드오프를 정량화한다. 본 연구의 발견은 작업 요구 사항에 최적의 복잡성을 갖춘 새로운 에이전트 프레임워크인 Efficient Agents의 개발을 가능하게 하였다. Efficient Agents는 선도적인 오픈소스 에이전트 프레임워크인 OWL의 성능의 96.7%를 유지하면서 운영 비용을 기존의 0.398달러에서 0.228달러로 감축하여, 비용-패스 지표에서 28.4%의 개선을 달성하였다. 본 연구는 효율적이고 고성능을 갖춘 에이전트 시스템을 설계하기 위한 실질적인 통찰을 제공하며, AI 기반 솔루션의 접근성과 지속 가능성 향상에 기여한다.