WizardCoder：Evol-Instructを活用したコード大規模言語モデルの強化

コード大規模言語モデル（Code LLMs）であるStarCoderなどは、コード関連のタスクにおいて優れた性能を発揮している。しかし、現存する大多数のモデルは、指示の微調整（instruction fine-tuning）を施さずに、広範な未加工のコードデータのみで事前学習されている。本論文では、コード分野に「Evol-Instruct」手法を適応することで、複雑な指示に対する微調整を可能にする「WizardCoder」を提案する。4つの主要なコード生成ベンチマーク、すなわちHumanEval、HumanEval+、MBPP、DS-1000における包括的な実験の結果、本モデルの優れた能力が明らかになった。その性能は、他のすべてのオープンソースCode LLMを大きく上回っている。さらに、HumanEvalおよびHumanEval+において、最大規模の閉鎖型LLMであるAnthropicのClaudeやGoogleのBardをも上回る成果を達成した。本研究のコード、モデル重み、およびデータは、https://github.com/nlpxucan/WizardLM にて公開されている。