Command Palette
Search for a command to run...
HumanEval
التاريخ
الوسوم
يُعد HumanEval (Code) مقياسًا أساسيًا لتوليد الكود اقترحته شركة OpenAI، ويتضمن 164 مسألة برمجية مكتوبة يدويًا مع اختبارات وحداتية مقابلة. يشير درجة HumanEval إلى نسبة الدوال التي يولدها النموذج وتنجح في اجتياز جميع حالات الاختبار، وهو واحد من أكثر المقاييس المحددة استخدامًا في مجال توليد الكود. يقيس هذا المقياس دالة الكود الوظيفية، وليس أسلوب البرمجة أو الكفاءة. عادةً ما يتم الإبلاغ عن النتائج كنسبة مئوية أو كدرجة تتراوح بين 0 و1، حيث تشير القيم الأعلى إلى أداء أفضل. عند الاستخدام، يجب تحديد ما إذا كانت النتيجة لـ pass@1 أم pass@k، بالإضافة إلى إعدادات درجة الحرارة (Temperature) وغيرها من المعلمات، لضمان إجراء مقارنة عادلة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.