LCC Java ist ein von Microsoft im Jahr 2023 veröffentlichter Java-Code-Datensatz, der aus dem Projekt The Large Code Corpus (LCC) stammt und darauf abzielt, qualitativ hochwertige Code-Korpora für Aufgaben wie Codeverständnis, Codegenerierung und Codevervollständigung bereitzustellen.

Der Datensatz umfasst etwa 1,87 GB und enthält 120.000 Java-Codebeispiele. Die Daten stammen aus echten Java-Quellcodes von Open-Source-Projekten und sind in Trainings-, Validierungs- und Testsets unterteilt. Jedes Beispiel enthält hauptsächlich Kontextcode und das entsprechende Zielcodefragment, gespeichert im JSON-Format, und kann für überwachtes Lernen und Sequenz-zu-Sequenz-Training (Seq2Seq) von Codemodellen verwendet werden.

Datensatzzusammensetzung

Der Datensatz enthält die folgenden drei Teile:

• Trainingsset (train): 100.000 Beispiele, etwa 1,61 GB.
• Validierungsset (validation): 10.000 Beispiele, etwa 131 MB.
• Testset (test): 10.000 Beispiele, etwa 129 MB.

Jedes Beispiel enthält hauptsächlich die folgenden Felder:

• context: Kontextcode, der dem Modell Hintergrundinformationen zum Code liefert.
• gt: Zielcodefragment, also der Code, den das Modell vorhersagen oder generieren soll.