Harvey LAB-AA v1.1

Harvey의 Legal Agent Benchmark(LAB) 구현으로, 24개 법률 실무 영역에 걸친 120개 비공개 과제 데이터셋에서 실제 법률 업무로 AI 에이전트를 시험합니다. Harvey와 협력하여 구축된 v1.1은 모든 산출물을 과제의 원본 문서와 대조해 환각을 검사하므로, 모든 루브릭 기준을 통과했더라도 중대한 환각이 있으면 점수를 받지 못합니다. 세 명의 심사위원 패널이 각 산출물을 기준별로 채점합니다.

모델: 27 현재, 33 전체
중앙값: 2.8%
범위: 0.0%–13.1%

점수 분포

가장 낮음: 0.0%
중앙값: 2.8%
최고: 13.1%

리더보드

지원 중단된 모델 포함

순위	모델	점수
1	Muse Wonder Full (Max) Meta	13.1%
2	Muse Wonder (Max) Meta	10.0%
3	Grok 4.7 (Xhigh) SpaceXAI	9.4%
4	GPT-6 Astra (Max) OpenAI	8.6%
5	Claude Fable 5.2 (Max, Default Fallback) Anthropic	7.2%
6	GPT-6.1 Sol (Max) OpenAI	6.9%
7	Claude Fable 5.2 (Medium, Default Fallback) Anthropic	6.4%
8	Claude Fable 5.2 (High, Default Fallback) Anthropic	4.7%
9	Claude Fable 5.2 (Low, Default Fallback) Anthropic	4.2%
10	Claude Opus 5.5 (Max, Default Fallback) Anthropic	4.2%
11	Claude Fable 5.2 (Xhigh, Default Fallback) Anthropic	3.9%
12	Gemini 4 Argon (High) Google	3.9%
13	GPT-6 Luna (Max) OpenAI	3.3%
14	Claude Haiku 5.5 (Xhigh) Anthropic	2.8%
15	Claude Sonnet 5.5 (Max, Default Fallback) Anthropic	2.8%
16	Claude Haiku 5.5 (Low) Anthropic	1.7%
17	Claude Haiku 5.5 (High) Anthropic	1.1%
18	GLM-5.3-Flash Z AI	0.8%
19	Claude Haiku 5.5 (Max) Anthropic	0.6%
20	Claude Haiku 5.5 (Medium) Anthropic	0.6%
21	GLM-5.3 (Max) Z AI	0.3%
22	Gemini 3.1 Pro Preview Google	0.0%
23	Gemini 3.5 Flash-Lite Google	0.0%
24	Gemini 3.8 Flash (High) Google	0.0%
25	Inkling (Xhigh) Thinking Machines	0.0%
26	Inkling Small Thinking Machines	0.0%
27	MiniMax-M3 MiniMax	0.0%

1
Muse Wonder Full (Max)
Meta
13.1%
2
Muse Wonder (Max)

데이터 출처: Artificial Analysis

Command Palette

Harvey LAB-AA v1.1

점수 분포

리더보드