워즈드코더: 에볼-인스트럭트로 코드 대규모 언어 모델 강화하기

코드 대규모 언어 모델(Code LLMs), 예를 들어 StarCoder와 같은 모델들은 코드 관련 작업에서 뛰어난 성능을 보여왔다. 그러나 기존 대부분의 모델들은 지시(instruction) 피니팅 없이 방대한 원시 코드 데이터만으로 사전 훈련되어 왔다. 본 논문에서는 코드 분야에 Evol-Instruct 방법을 적응시켜 복잡한 지시 피니팅을 가능하게 하는 WizardCoder를 제안한다. 인간 평가(HumanEval), HumanEval+, MBPP, DS-1000이라는 네 가지 주요 코드 생성 벤치마크에서 실시한 광범위한 실험을 통해, 본 모델의 뛰어난 능력을 입증하였다. 결과적으로, 본 모델은 다른 모든 오픈소스 코드 LLM들을 상당한 격차로 앞서며, 인간 평가(HumanEval) 및 HumanEval+에서 가장 큰 폐쇄형 LLM인 Anthropic의 Claude와 Google의 Bard를도 초월하였다. 본 연구의 코드, 모델 가중치 및 데이터는 https://github.com/nlpxucan/WizardLM 에 공개되어 있다.