Yongchao Chen Jiefeng Chen Rui Meng Ji Yin Na Li et al

초록

코드 인터프리터 및 검색과 같은 도구를 통합함으로써 챗GPT 에이전트 및 지미니-프로와 같은 모델에서 대규모 언어 모델(LLM)의 추론 능력이 크게 향상되었지만, 도구 사용 최적화에 대한 실질적인 지침은 여전히 부족한 실정이다. 핵심 과제는 다양한 질문에 대해 텍스트 기반 추론, 코드 작성, 검색을 효과적으로 통합하는 것이다. 본 논문에서는 병렬로 실행되는 여러 에이전트를 활용하는 앙상블 프레임워크인 Tool-Use Mixture(TUMIX)를 제안한다. 각 에이전트는 서로 다른 도구 사용 전략과 답변 경로를 적용하며, 질문과 이전 답변을 기반으로 반복적으로 응답을 공유하고 개선한다. 실험 결과, TUMIX는 최신의 도구 보강 및 테스트 시점 확장 기법들을 크게 능가하며, 주요 추론 벤치마크에서 지미니-2.5-프로 및 지미니-2.5-플래시 모델 기준으로 최상의 기준 모델 대비 평균 정확도를 최대 3.55% 향상시켰으며, 추론 비용은 거의 동일한 수준을 유지하였다. 본 연구에서는 에이전트의 다양성과 품질이 핵심적임을 발견하였으며, LLM을 활용해 에이전트 설계를 자동 최적화함으로써 이를 더욱 향상시킬 수 있음을 확인하였다. 또한 TUMIX는 충분한 신뢰도에 도달하면 정교화를 중단할 수 있어, 추론 비용의 단지 49%로도 성능을 유지할 수 있다. 더 큰 규모로 확장할 경우 성능을 더욱 높일 수 있으나, 그에 따라 비용도 증가하게 된다.