17 天前
SwissNYF:面向黑箱场景的工具驱动型LLM Agent
Somnath Sendhil Kumar, Dhruv Jain, Eshaan Agarwal, Raunak Pandey

摘要
尽管大型语言模型(LLMs)在函数调用能力方面已展现出显著提升,但这些进展主要依赖于获取函数执行后的响应。该方法在处理简单API时较为可行,但在面对具有不可逆性且对系统产生重大影响的API(如数据库删除接口)时,面临严重的可扩展性挑战。此外,对于每次API调用耗时较长,或需要前瞻性规划的任务(如自动化操作流水线),也构成了复杂难题。更进一步,在许多实际场景中,由于算法无法直接访问特定函数的具体实现,或缺乏使用这些函数所需的密钥信息,亟需一种通用化的方法。传统工具规划方法在这些情况下显得力不从心,因而迫切需要在“黑盒”环境(black-box environment)中开展有效操作。与在工具操控方面表现有限不同,LLMs在黑盒任务中表现出色,例如程序合成(program synthesis)能力尤为突出。为此,我们充分利用LLMs的程序合成能力,用于在黑盒环境中制定工具使用策略,并在实际执行前对解决方案进行验证。为此,我们提出TOPGUN——一种巧妙设计的黑盒工具规划方法,其核心在于利用程序合成技术实现智能规划。同时,我们配套推出了SwissNYF,一个功能完备的工具套件,集成了面向黑盒环境的规划与验证算法,有效应对上述挑战,显著提升了LLMs在复杂API交互中的适应性与执行效能。SwissNYF的公开代码已发布于:https://github.com/iclr-dummy-user/SwissNYF。