Command Palette
Search for a command to run...
تقرير فاي-3: نموذج لغوي قوي يمكن تشغيله محليًا على هاتفك
تقرير فاي-3: نموذج لغوي قوي يمكن تشغيله محليًا على هاتفك
الملخص
نُقدِّم نموذج phi-3-mini، وهو نموذج لغوي يحتوي على 3.8 مليار معلمة، تم تدريبه على 3.3 تريليون رمز (Token)، وتمت مقارنة أداؤه الشامل، وفقًا لمجموعة من المعايير الأكاديمية والاختبارات الداخلية، بأداء نماذج مثل Mixtral 8x7B وGPT-3.5 (مثلاً، حقق phi-3-mini 69% في اختبار MMLU و8.38 في اختبار MT-bench)، مع أن حجمه صغير بدرجة تسمح بتشغيله على الهاتف المحمول. تكمن الابتكار في مجموعة البيانات المستخدمة في التدريب، وهي نسخة مُوسَّعة من المجموعة المستخدمة في تدريب phi-2، وتشمل بيانات مُستخرجة من الويب بعد تصفية شديدة، بالإضافة إلى بيانات مُصَنَّعة. كما تم تعزيز تطابق النموذج (Alignment) لضمان مرونته وسلامته وملاءمته لصيغة المحادثة. ونُقدِّم أيضًا بعض النتائج الأولية المتعلقة بعلاقة التوسع في عدد المعلمات، من خلال نماذج بحجم 7 مليار و14 مليار معلمة، تم تدريبها على 4.8 تريليون رمز، وسُمِّيَت phi-3-small وphi-3-medium على التوالي، اللذان يُعدان أكثر قدرةً بشكل ملحوظ من phi-3-mini (مثلاً، حقق كل منهما 75% و78% على اختبار MMLU، و8.7 و8.9 على اختبار MT-bench).