OctoPack: 대형 언어 모델의 지시어 조정 코드

대형 언어 모델(LLM)을 지시문에 대해 미세 조정하면 자연어 작업의 성능이 크게 향상됩니다. 우리는 Git 커밋의 자연스러운 구조를 활용하여 코드를 사용한 지시문 조정을 적용합니다. 이 구조는 코드 변경과 인간의 지시문을 짝지어줍니다. 우리는 350개 프로그래밍 언어에 걸쳐 4테라바이트의 Git 커밋으로 구성된 CommitPack을 컴파일합니다. 160억 파라미터의 StarCoder 모델에서 CommitPack를 다른 자연적 및 합성 코드 지시문(xP3x, Self-Instruct, OASST)과 비교 평가한 결과, OpenAI 출력으로 훈련되지 않은 모델 중 HumanEval Python 벤치마크(46.2% pass@1)에서 최고 수준의 성능을 달성했습니다. 또한 우리는 HumanEval 벤치마크를 6개 언어(Python, JavaScript, Java, Go, C++, Rust)에 걸친 총 3개의 코딩 작업(코드 수정, 코드 설명, 코드 생성)으로 확장한 HumanEvalPack를 소개합니다. 우리의 모델인 OctoCoder와 OctoGeeX는 모든 자유롭게 사용할 수 있는 모델 중 HumanEvalPack에서 최고의 성능을 보여주며, CommitPack가 다양한 언어와 자연적인 코딩 작업에 일반화되는 데 있어 이점을 입증하였습니다. 코드, 모델 및 데이터는 https://github.com/bigcode-project/octopack에서 무료로 제공됩니다.