HyperAI
Command Palette
Search for a command to run...
تقييمات LLM
مقاييس الأداء التي تقيم نماذج اللغة الكبيرة، مع عدد النماذج التي يغطيها كل منها وكيفية تقييمها
43 تقييمات
| التقييم | النماذج | علامة الوسيط ونقطة النتيجة الأفضل | الوسيط |
|---|---|---|---|
| AA-Briefcase v1.1 15% وزن | 152 | 1186 | |
| AA-Omniscience v1.1 عام · 15% وزن | 102 | 7.1 | |
| FrontierCode-AA 2.0 البرمجة · 15% وزن | 107 | 20.2% | |
| Terminal-Bench-Science 0.1 15% وزن | 109 | 7.6% | |
| CritPt v2 10% وزن | 110 | 33.5% | |
| HLE-Diamond عام · 10% وزن | 133 | 17.3% | |
| Terminal-Bench 4.0 البرمجة · 10% وزن | 147 | 11.1% | |
| AutomationBench-AA 5% وزن | 150 | 46.0% | |
| GDP.pdf 5% وزن | 148 | 13.2% |
| التقييم | النماذج | علامة الوسيط ونقطة النتيجة الأفضل | الوسيط |
|---|---|---|---|
| Humanity's Last Exam معيار بمستوى الحدود المتقدمة يضم 2,500 سؤال راجعها خبراء في الرياضيات والعلوم والعلوم الإنسانية، صُمم ليكون التقييم الأكاديمي النهائي المغلق. | 267 | 12.0% | |
| CritPt معيار مصمم لاختبار نماذج اللغة الكبيرة في مهام التفكير الفيزيائي على مستوى البحث، ويضم 71 تحديًا بحثيًا مركّبًا. | 265 | 0.3% | |
| AA-LCR v1.1: Long Context Reasoning معيار صعب يقيس قدرة نماذج اللغة على استخراج المعلومات من مستندات طويلة تتراوح بين 10k و100k رمز (مقاسة بمُرمِّز cl100k_base) والاستدلال عليها وتوليفها. | 259 | 61.3% | |
| GPQA Diamond أصعب 198 سؤالًا من GPQA، حيث يحقق خبراء الدكتوراه دقة 65% بينما لا يتجاوز غير الخبراء المهرة 34% رغم الوصول إلى الويب. | 205 | 71.3% | |
| GDPval-AA v2.1 GDPval-AA v2.1 هو إطار تقييم لمجموعة بيانات GDPval من OpenAI. يختبر نماذج الذكاء الاصطناعي في مهام واقعية عبر 44 مهنة و9 قطاعات رئيسية. تُمنح النماذج وصولًا إلى shell وقدرات تصفح الويب في حلقة وكيلية عبر Stirrup لحل المهام، مع تصنيفات Elo مستمدة من مقارنات ثنائية عمياء. | 172 | 1109 | |
| IFBench معيار يقيّم تعميم اتباع التعليمات بدقة على 58 قيدًا متنوعًا وقابلًا للتحقق من خارج النطاق، تختبر قدرة النماذج على تلبية متطلبات إخراج محددة. | 150 | 43.0% | |
| Terminal-Bench Hard معيار وكيلي يقيّم قدرات الذكاء الاصطناعي في بيئات الطرفية عبر مهام هندسة البرمجيات وإدارة الأنظمة ومعالجة البيانات. | 147 | 6.8% | |
| 𝜏²-Bench Telecom معيار للذكاء الاصطناعي التحاوري بالتحكم المزدوج يحاكي سيناريوهات الدعم الفني حيث يجب على الوكيل والمستخدم تنسيق الإجراءات لحل مشكلات خدمات الاتصالات. | 147 | 36.3% | |
| SciCode معيار برمجي منتقى من قبل علماء يضم 288 مسألة فرعية في مجموعة الاختبار من 80 مسألة مخبرية عبر 16 تخصصًا علميًا. | 142 | 48.7% | |
| MMMU-Pro معيار MMMU محسّن يزيل المسارات المختصرة واستراتيجيات التخمين لاختبار النماذج متعددة الوسائط بشكل أكثر صرامة عبر 30 تخصصًا أكاديميًا. | 126 | 70.8% | |
| Terminal-Bench 2.1 تحديث مُتحقَّق منه لمعيار Terminal-Bench 2.0: 89 مهمة منتقاة عبر هندسة البرمجيات وإدارة الأنظمة ومعالجة البيانات وتدريب النماذج والأمن، مع إصلاحات في البيئة والتعليمات حتى تعكس الدرجات قدرة الوكيل لا ثغرات البيئة. | 114 | 38.6% | |
| MLCR-AA: Medical Long Context Reasoning معيار مفتوح من Wisedocs يقيس جودة استدلال النماذج عبر سجلات طبية طويلة ومجزأة، وينفذ التوليف متعدد المستندات الذي يعتمد عليه محترفو المطالبات عند مراجعة حالات التأمين والرعاية الصحية. | 96 | 15.8% | |
| 𝜏³-Banking معيار لدعم عملاء التكنولوجيا المالية من إطار 𝜏-Knowledge، يختبر قدرة الوكلاء على التنقل في قاعدة معرفة كبيرة غير منظمة وتنفيذ استدعاءات أدوات متعددة الخطوات لحل سير عمل مصرفي واقعي. | 89 | 17.5% | |
| MMLU-Pro نسخة محسّنة من MMLU تضم 12,000 سؤال بمستوى الدراسات العليا عبر 14 مجالًا دراسيًا، وتتميز بعشرة خيارات إجابة ومتطلبات استدلال أعمق. | 83 | 74.2% | |
| LiveCodeBench معيار برمجي خالٍ من التلوث يحصد باستمرار مسائل برمجة تنافسية جديدة من LeetCode وAtCoder وCodeForces، ويقيّم توليد الكود والإصلاح الذاتي والتنفيذ. | 82 | 47.2% | |
| AIME 2025 جميع المسائل الثلاثين من American Invitational Mathematics Examination لعام 2025، لاختبار الاستدلال الرياضي بمستوى الأولمبياد بإجابات صحيحة من 000 إلى 999. | 78 | 51.3% | |
| FrontierCode 1.1 تنفيذ لمعيار FrontierCode 1.1 من Cognition، وهو معيار خاص للبرمجة الوكيلية يختبر النماذج في إنجاز مهام برمجية بطريقة تؤدي فعليًا إلى دمجها من قبل مشرفي مستودعات واقعية. | 75 | 38.8% | |
| Global-MMLU-Lite نسخة خفيفة متعددة اللغات من MMLU، مصممة لتقييم مهارات المعرفة والاستدلال عبر مجموعة متنوعة من اللغات والسياقات الثقافية. | 39 | 78.6% | |
| Harvey LAB-AA v1.1 تنفيذ لمعيار Legal Agent Benchmark (LAB) من Harvey، يختبر وكلاء الذكاء الاصطناعي في أعمال قانونية واقعية من مجموعة بيانات Harvey التي تضم 120 مهمة خاصة تغطي 24 مجال ممارسة قانونية. يتحقق الإصدار v1.1، المطوّر بالتعاون مع Harvey، من كل مخرج مقابل المستندات المصدر للمهمة بحثًا عن الهلوسة، لذا لا يحصل العمل الذي يستوفي كل معيار في التقييم لكنه يحتوي على هلوسة جوهرية على أي درجة. وتُقيّم لجنة من ثلاثة حكّام كل مخرج معيارًا بمعيار. | 27 | 2.8% | |
| AA-AnalystAgent معيار لتحليل البيانات يختبر قدرة وكلاء الذكاء الاصطناعي على العمل مع جداول البيانات والمستندات للإجابة عن أسئلة كمية يواجهها محلل الأعمال أو محلل البيانات يوميًا. | 26 | 40.0% | |
| EnterpriseOps-Gym-AA تنفيذ مستقل لمعيار EnterpriseOps-Gym من ServiceNow، وهو معيار وكيلي يختبر قدرة وكلاء نماذج اللغة على إنجاز سير عمل مؤسسي متعدد الخطوات وذات حالة عبر ثمانية مجالات أعمال باستخدام أدوات حية، ويُقيَّم على الحالة النهائية لقواعد البيانات الأساسية. | 23 | 40.2% | |
| MATH-500 مجموعة فرعية من 500 مسألة من مجموعة بيانات MATH، تضم رياضيات بمستوى المسابقات عبر ستة مجالات تشمل الجبر والهندسة ونظرية الأعداد. | 23 | 81.0% | |
| Code2Video-AA تنفيذ لمعيار Code2Video Bench من HeyGen، يقيّم جودة إنشاء النماذج مقاطع فيديو قصيرة للمنتجات والعلامات التجارية من 114 موجز تصميم باستخدام HyperFrames HTML. | 22 | 1025 | |
| Multimodal Knowledge Agent (MKA) تنفيذ لمعيار Multimodal Knowledge Agent (MKA) من Google DeepMind، ويختبر قدرة الوكلاء على قراءة ملفات مشاريع كثيفة المعلومات البصرية، مثل المخططات المعمارية والرسوم الهندسية والصور السريرية، وإنتاج المخرجات التي يقدمها المتخصص. | 21 | 41.0% | |
| VIALS-AA تنفيذ لمعيار VIALS من Handshake AI، ويختبر قدرة النماذج اللغوية على تفسير الصور العلمية والإجابة عن أسئلة حول الأدلة التي تحتويها. | 21 | 45.3% | |
| AA-3D: Interactive 3D Experience معيار لقياس جودة بناء نماذج الذكاء الاصطناعي تجارب ثلاثية الأبعاد تفاعلية. يعمل النموذج كوكيل في بيئة معزولة دون اتصال عبر Stirrup لتحويل موجز مكتوب إلى مشهد three.js، مع تصنيفات Elo مستمدة من تصويتات ثنائية عمياء. | 20 | 995 | |
| CWE-Bench-AA تنفيذ لمعيار CWE-bench من Collinear AI، وهو معيار دفاعي للأمن السيبراني يختبر قدرة وكلاء البرمجة على تدقيق قاعدة شيفرة مفتوحة المصدر حقيقية، والعثور على ثغرة في منطقة اهتمام محددة، وترقيعها دون الإخلال بالسلوك المشروع. | 19 | 55.8% | |
| CyberGym-E2E-AA تنفيذ لمعيار CyberGym-E2E من Berkeley RDI، وهو معيار دفاعي للأمن السيبراني يختبر الوكلاء في العثور على ثغرات حقيقية متعلقة بسلامة الذاكرة في مشاريع C/C++ مفتوحة المصدر، وإعادة إنتاجها بمدخلات إثبات مفهوم، وترقيعها دون الإخلال باختبارات المشاريع. | 19 | 71.8% | |
| DeepsecBench-AA تنفيذ لمعيار DeepsecBench من Vercel، وهو معيار دفاعي للأمن السيبراني يختبر جودة عثور الوكلاء على الثغرات في شيفرة تطبيقات مفتوحة المصدر حقيقية. | 19 | 19.9% | |
| HealthBench HealthBench من OpenAI: 5,000 محادثة صحية تُقيَّم وفق معايير كتبها أطباء، من الإحالات الطارئة إلى الصحة العالمية. | 15 | 58.5% | |
| HealthBench Professional HealthBench Professional من OpenAI: 525 محادثة سريرية تغطي مهام الاستشارة والكتابة والبحث، تُقيَّم وفق معايير كتبها أطباء. | 15 | 63.0% | |
| ITBench-AA تنفيذ لمعيار ITBench من IBM، يختبر وكلاء الذكاء الاصطناعي في تحليل السبب الجذري لحوادث Kubernetes من لقطات حوادث دون اتصال. يفحص الوكيل التنبيهات والأحداث والتتبعات والطوبولوجيا ويحدد الكيانات المساهمة في العطل (عمليات النشر وpods والنطاقات وسياسات الشبكة وغيرها). | 14 | 39.2% | |
| APEX-Agents-AA تنفيذ لمعيار APEX-Agents، يختبر وكلاء الذكاء الاصطناعي في مهام طويلة الأفق متعددة التطبيقات في بيئات الخدمات المهنية بأدوات تطبيقات واقعية. | 9 | 27.4% |