OpenCodeInstruct ist ein großer Datensatz für das Feinabstimmen von Code-Anweisungen mit 5 Millionen vielfältigen Beispielen, der von NVIDIA im Jahr 2025 veröffentlicht wurde. Das zugehörige Forschungsergebnis ist „OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs“ und zielt darauf ab, hochwertige Daten für das überwachtes Feinabstimmen (SFT) bereitzustellen, um Open-Source-Code-Großsprachmodelle zu verbessern.

Der Datensatz ist speziell für das Training von Sprachmodellen konzipiert, die sich auf die Codegenerierung konzentrieren, und nutzt eine hybride Methode aus automatisierter und synthetischer Datensammlung und -beschriftung.

Zusammensetzung des Datensatzes

Der Datensatz besteht hauptsächlich aus einem Trainingsdatensatz (train) mit 5 Millionen Beispielen. Jedes Beispiel umfasst die folgenden Felder:

• id: Kennung für jede Frage (Zeichenkette)
• input: Die eingegebene Programmieraufgabe (Zeichenkette)
• output: Die Antwort des großen Sprachmodells (Zeichenkette)
• domain: Domänentyp, unterteilt in „generic“ (allgemein) oder „algorithmic“ (algorithmisch) (Zeichenkette)
• generation_algorithm: Generierungsalgorithmus, unterteilt in „self-instruct“ oder „evol-instruct“ (Zeichenkette)
• llm_judgement: Zeichenkettenrepräsentation eines JSON-Wörterbuchs, das die Bewertung der Antwort durch das große Sprachmodell basierend auf mehreren Kriterien enthält
• unit_tests: Zeichenkettenrepräsentation einer Liste von Anweisungszeilen
• tests_execution_status: Liste von Zeichenketten, die „pass“ oder „fail“ angeben und den Ausführungsstatus der Tests widerspiegeln
• average_test_score: Anteil der bestandenen Testfälle (Fließkommazahl)

Zitierung

@article{ahmad2025opencodeinstruct,
      title={OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs}, 
      author={Wasi Uddin Ahmad and Aleksander Ficek and Mehrzad Samadi and Jocelyn Huang and Vahid Noroozi and Somshubra Majumdar and Boris Ginsburg},
      year={2025},
      eprint={2504.04030},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04030}, 
}