WizardCoder: Code Large Language Models mit Evol-Instruct stärken

Code- große Sprachmodelle (Code LLMs), wie StarCoder, haben eine außergewöhnliche Leistungsfähigkeit bei codebezogenen Aufgaben demonstriert. Allerdings werden die meisten bestehenden Modelle ausschließlich auf umfangreichen Roh-Code-Daten vortrainiert, ohne anschließende Feinabstimmung an Anweisungen. In diesem Paper stellen wir WizardCoder vor, das Code LLMs durch komplexe Anweisungs-Feinabstimmung mit erweiterten Fähigkeiten ausstattet, indem wir die Evol-Instruct-Methode auf den Bereich des Codes anpassen. Anhand umfassender Experimente auf vier prominenten Benchmarks für Code-Generierung – HumanEval, HumanEval+, MBPP und DS-1000 – offenbaren wir die herausragenden Fähigkeiten unseres Modells. Es übertrifft alle anderen Open-Source-Code-LLMs mit einem erheblichen Abstand. Darüber hinaus erreicht unser Modell sogar die Leistung der größten geschlossenen LLMs, Anthropic’s Claude und Google’s Bard, bei HumanEval und HumanEval+. Der Quellcode, die Modellgewichte und die Daten sind öffentlich unter https://github.com/nlpxucan/WizardLM verfügbar.