스위스NYF: 블랙박스 환경을 위한 도구 기반 LLM 에이전트

대규모 언어 모델(Large Language Models, LLMs)은 함수 호출 기능 측면에서 향상된 능력을 보여주고 있으나, 이러한 발전은 주로 함수의 응답에 접근하는 데 의존한다. 이 방법은 비교적 단순한 API에 대해서는 실용적이지만, 시스템에 중대한 영향을 미치는 무역환(비가역) API(예: 데이터베이스 삭제 API)와 같은 경우 확장성 문제를 겪는다. 또한 각 API 호출에 상당한 시간이 소요되거나, 자동화된 작업 파이프라인과 같은 전방 계획이 필요한 프로세스는 복잡한 도전 과제를 제기한다. 더불어, 알고리즘이 특정 함수의 구현 세부사항이나 사용을 위한 비밀 정보에 직접 접근할 수 없는 경우 일반화된 접근 방식이 필요할 때가 종종 발생한다. 기존의 도구 계획 방법론은 이러한 상황에서는 부적절하며, 이에 따라 블랙박스 환경 내에서 작동할 필요성이 강조된다. 도구 조작에서는 성능이 제한적인 반면, LLMs는 프로그램 합성과 같은 블랙박스 작업에서는 뛰어난 성능을 발휘한다. 따라서 우리는 LLM의 프로그램 합성 능력을 활용하여 블랙박스 환경에서 도구 사용 전략을 수립하고, 구현 전에 해답이 검증되도록 보장한다. 본 연구에서는 프로그램 합성을 기반으로 한 블랙박스 도구 계획을 위한 혁신적인 접근 방식인 TOPGUN을 제안한다. 이를 보완하여, 블랙박스 알고리즘을 계획 및 검증 작업에 통합한 포괄적인 도구 세트인 SwissNYF를 소개한다. SwissNYF는 위에서 언급한 문제들을 해결하고, 복잡한 API 상호작용에서 LLM의 유연성과 효과성을 크게 향상시킨다. SwissNYF의 공개 코드는 다음 주소에서 확인할 수 있다: https://github.com/iclr-dummy-user/SwissNYF.