계획 주도 프로그래밍: 대형 언어 모델 프로그래밍 워크플로우

대형 언어 모델(LLM)의 우수한 성능은 코드 생성에 대한 응용 가능성에 대해 광범위한 논의를 촉발하고 있습니다. 최근 연구에서는 가시적인 테스트를 통해 지속적으로 프로그램을 개선하여 LLM의 코드 생성 정확도를 높이는 방법을 제안하고 있습니다. 그러나 이러한 방법들은 LLM의 비효율성과 제한된 추론 능력으로 인해 한계가 있습니다. 본 연구에서는 초기 코드 생성과 후속 개선 과정을 구조화된 두 단계 워크플로우 내에서 개선하기 위한 LLM 프로그래밍 워크플로우(LPW)를 제안합니다. 특히, 솔루션 생성 단계에서는 솔루션 계획을 수립하고, 이는 가시적인 테스트를 통해 검증되어 의도한 자연어 솔루션을 명시합니다. 이후, 코드 구현 단계에서는 솔루션 계획과 그 검증 결과에 따라 초기 코드를 작성합니다. 생성된 코드가 가시적인 테스트에서 실패할 경우, 계획 검증은 버그 수정을 위한 일관된 개선 과정의 기준이 됩니다. 다양한 기존 LLM들에서 최신 방법들과 비교했을 때, LPW는 잘 알려진 텍스트-코드 생성 벤치마크에서 최대 16.4%까지 Pass@1 정확도를 크게 향상시키는 것으로 나타났습니다. 또한 GPT-4o(Backbone)를 사용하여 HumanEval에서 98.2%, MBPP에서 84.8%, LiveCode에서 59.3%, APPS에서 62.6%, CodeContest에서 34.7%의 Pass@1 정확도를 달성하며 새로운 최신 기준을 설정하였습니다. 우리의 코드는 다음과 같이 공개되어 있습니다: https://github.com/you68681/lpw