HyperAIHyperAI

Command Palette

Search for a command to run...

规划驱动编程:大规模语言模型编程工作流程

Chao Lei Yanchuan Chang Nir Lipovetzky Krista A. Ehinger

摘要

大型语言模型(LLMs)的出色表现引发了对其在代码生成应用方面的广泛讨论。近期研究表明,通过可见测试进行连续程序改进可以提高LLMs在代码生成中的准确性。然而,这些方法受到LLMs效率低下和推理能力有限的制约。在这项工作中,我们提出了一种设计用于改善初始代码生成及后续改进的大型语言模型编程工作流程(LPW),该工作流程分为两个阶段。具体而言,在解决方案生成阶段,会制定一个解决方案计划,然后通过可见测试验证该计划以明确预期的自然语言解决方案。随后,在代码实现阶段,根据已验证的解决方案计划起草初始代码。如果生成的代码未能通过可见测试,则计划验证将作为预期解决方案持续指导修复过程以纠正错误。与现有各种最先进的LLMs方法相比,LPW显著提高了Pass@1准确率,在多个成熟的文本到代码生成基准测试中最高提升了16.4%。此外,LPW还创造了新的Pass@1准确率记录,在HumanEval上达到98.2%,在MBPP上达到84.8%,在LiveCode上达到59.3%,在APPS上达到62.6%,以及在CodeContest上达到34.7%,其核心模型为GPT-4o。我们的代码已公开发布于:https://github.com/you68681/lpw


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供