LCC_python은 Microsoft가 2023년에 공개한 Python 코드 데이터셋으로, Large Code Corpus(LCC) 프로젝트에서 비롯되었으며, 코드 생성, 코드 완성, 코드 이해와 같은 작업에 고품질의 코드 말뭉치를 제공하는 것을 목표로 합니다.

이 데이터셋은 약 2GB 크기로, 120,000개의 Python 코드 샘플을 포함하며, 대규모 오픈소스 코드베이스에서 수집되었고, 훈련 세트, 검증 세트, 테스트 세트로 나뉩니다. 각 샘플은 주로 컨텍스트 코드와 해당하는 대상 코드 조각을 포함하며, 코드 관련 모델의 지도 학습 및 사전 훈련에 사용될 수 있습니다.

데이터셋 구성

데이터셋은 다음 세 부분으로 구성됩니다:

• 훈련 세트(train): 100,000개 샘플, 약 1.76GB.
• 검증 세트(validation): 10,000개 샘플, 약 146MB.
• 테스트 세트(test): 10,000개 샘플, 약 149MB.

각 샘플은 주로 다음 필드를 포함합니다:

• context: 코드 컨텍스트 정보.
• gt: Ground Truth, 즉 대상 코드 또는 레이블.