Harvey LAB-AA v1.1

تنفيذ لمعيار Legal Agent Benchmark (LAB) من Harvey، يختبر وكلاء الذكاء الاصطناعي في أعمال قانونية واقعية من مجموعة بيانات Harvey التي تضم 120 مهمة خاصة تغطي 24 مجال ممارسة قانونية. يتحقق الإصدار v1.1، المطوّر بالتعاون مع Harvey، من كل مخرج مقابل المستندات المصدر للمهمة بحثًا عن الهلوسة، لذا لا يحصل العمل الذي يستوفي كل معيار في التقييم لكنه يحتوي على هلوسة جوهرية على أي درجة. وتُقيّم لجنة من ثلاثة حكّام كل مخرج معيارًا بمعيار.

النماذج: 27 الحالي، 33 إجمالاً
الوسيط: 2.8%
المدى: 0.0%–13.1%

توزيع الدرجات

الأدنى: 0.0%
الوسيط: 2.8%
الأعلى: 13.1%

لوحة الصدارة

تضمين النماذج المهملة

الترتيب	النموذج	النتيجة
1	Muse Wonder Full (Max) Meta	13.1%
2	Muse Wonder (Max) Meta	10.0%
3	Grok 4.7 (Xhigh) SpaceXAI	9.4%
4	GPT-6 Astra (Max) OpenAI	8.6%
5	Claude Fable 5.2 (Max, Default Fallback) Anthropic	7.2%
6	GPT-6.1 Sol (Max) OpenAI	6.9%
7	Claude Fable 5.2 (Medium, Default Fallback) Anthropic	6.4%
8	Claude Fable 5.2 (High, Default Fallback) Anthropic	4.7%
9	Claude Fable 5.2 (Low, Default Fallback) Anthropic	4.2%
10	Claude Opus 5.5 (Max, Default Fallback) Anthropic	4.2%
11	Claude Fable 5.2 (Xhigh, Default Fallback) Anthropic	3.9%
12	Gemini 4 Argon (High) Google	3.9%
13	GPT-6 Luna (Max) OpenAI	3.3%
14	Claude Haiku 5.5 (Xhigh) Anthropic	2.8%
15	Claude Sonnet 5.5 (Max, Default Fallback) Anthropic	2.8%
16	Claude Haiku 5.5 (Low) Anthropic	1.7%
17	Claude Haiku 5.5 (High) Anthropic	1.1%
18	GLM-5.3-Flash Z AI	0.8%
19	Claude Haiku 5.5 (Max) Anthropic	0.6%
20	Claude Haiku 5.5 (Medium) Anthropic	0.6%
21	GLM-5.3 (Max) Z AI	0.3%
22	Gemini 3.1 Pro Preview Google	0.0%
23	Gemini 3.5 Flash-Lite Google	0.0%
24	Gemini 3.8 Flash (High) Google	0.0%
25	Inkling (Xhigh) Thinking Machines	0.0%
26	Inkling Small Thinking Machines	0.0%
27	MiniMax-M3 MiniMax	0.0%

1
Muse Wonder Full (Max)
Meta
13.1%
2
Muse Wonder (Max)

بيانات من Artificial Analysis

Command Palette

Harvey LAB-AA v1.1

توزيع الدرجات

لوحة الصدارة