LCC Java는 Microsoft가 2023년에 공개한 Java 코드 데이터셋으로, The Large Code Corpus(LCC) 프로젝트에서 비롯되었으며, 코드 이해, 코드 생성, 코드 완성과 같은 작업을 위한 고품질 코드 말뭉치를 제공하는 것을 목표로 합니다.

이 데이터셋은 약 1.87GB로, 120,000개의 Java 코드 샘플을 포함하며, 오픈소스 프로젝트의 실제 Java 소스 코드에서 수집되었고, 훈련 세트, 검증 세트, 테스트 세트로 나뉩니다. 각 샘플은 주로 컨텍스트 코드와 해당하는 대상 코드 조각을 포함하며, JSON 형식으로 저장되어 코드 관련 모델의 지도 학습 및 시퀀스-투-시퀀스(Seq2Seq) 훈련에 사용될 수 있습니다.

데이터셋 구성

데이터셋은 다음 세 부분으로 구성됩니다:

• 훈련 세트(train): 100,000개 샘플, 약 1.61GB.
• 검증 세트(validation): 10,000개 샘플, 약 131MB.
• 테스트 세트(test): 10,000개 샘플, 약 129MB.

각 샘플은 주로 다음 필드를 포함합니다:

• context: 컨텍스트 코드로, 모델에 코드 배경 정보를 제공합니다.
• gt: 대상 코드 조각으로, 모델이 예측하거나 생성해야 하는 코드입니다.