مجموعة بيانات الضبط الدقيق لتدريب النموذج الكبير MiniMind

MiniMind هو مشروع نموذج لغة كبير خفيف الوزن مفتوح المصدر يهدف إلى خفض عتبة استخدام نماذج اللغة الكبيرة (LLM) وتمكين المستخدمين الفرديين من التدريب والاستنتاج بسرعة على الأجهزة العادية.

يحتوي MiniMind على مجموعات بيانات متعددة، مثل مجموعة تدريب tokenizer لتدريب مجزئ الكلمات، وبيانات Pretrain لتدريب النموذج مسبقًا، وبيانات SFT للضبط الدقيق الخاضع للإشراف، وبيانات DPO 1 وبيانات DPO 2 لتدريب نموذج المكافأة. تم دمج مجموعات البيانات هذه من مصادر مختلفة، مثل بيانات SFT من Jiangshu Technology، وبيانات Qwen2.5 المقطرة، وما إلى ذلك، بإجمالي يبلغ حوالي 3 مليارات رمز، وهي مناسبة للتدريب المسبق لنماذج اللغة الصينية الكبيرة.