LCC_python ist ein von Microsoft im Jahr 2023 veröffentlichtes Python-Code-Dataset, das aus dem Large Code Corpus (LCC)-Projekt stammt und darauf abzielt, hochwertige Code-Korpora für Aufgaben wie Codegenerierung, Codevervollständigung und Codeverständnis bereitzustellen.

Das Dataset umfasst etwa 2 GB und enthält 120.000 Python-Codebeispiele, die aus großen Open-Source-Codebasen stammen und in Trainings-, Validierungs- und Testsets unterteilt sind. Jedes Beispiel enthält hauptsächlich Kontextcode und das entsprechende Zielcodefragment, das für überwachtes Lernen und Vortraining von Code-bezogenen Modellen verwendet werden kann.

Zusammensetzung des Datasets

Das Dataset umfasst die folgenden drei Teile:

• Trainingsset (train): 100.000 Beispiele, etwa 1,76 GB.
• Validierungsset (validation): 10.000 Beispiele, etwa 146 MB.
• Testset (test): 10.000 Beispiele, etwa 149 MB.

Jedes Beispiel enthält hauptsächlich die folgenden Felder:

• context: Kontextinformationen des Codes.
• gt: Ground Truth, d. h. der Zielcode oder das Label.