LCC_python هو مجموعة بيانات كود Python أصدرتها Microsoft في عام 2023، مستمدة من مشروع Large Code Corpus (LCC)، وتهدف إلى توفير كوربوس كود عالي الجودة لمهام مثل توليد الكود، وإكمال الكود، وفهم الكود.

تبلغ مساحة مجموعة البيانات حوالي 2 جيجابايت، وتحتوي على 120,000 عينة كود Python، وتستمد البيانات من مستودعات كود مفتوحة المصدر واسعة النطاق، وتنقسم إلى مجموعات تدريب وتحقق واختبار. تحتوي كل عينة بشكل أساسي على كود السياق وقطعة الكود الهدف المقابلة، ويمكن استخدامها للتعلم الخاضع للإشراف والتدريب المسبق لنماذج الكود.

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على الأجزاء الثلاثة التالية:

• مجموعة التدريب (train): 100,000 عينة، بحوالي 1.76 جيجابايت.
• مجموعة التحقق (validation): 10,000 عينة، بحوالي 146 ميجابايت.
• مجموعة الاختبار (test): 10,000 عينة، بحوالي 149 ميجابايت.

تحتوي كل عينة بشكل أساسي على الحقول التالية:

• context: معلومات سياق الكود.
• gt: الحقيقة الأساسية (Ground Truth)، أي الكود أو التسمية الهدف.