VIALS-AA

Handshake AIのVIALSベンチマークの実装であり、言語モデルが科学画像を解釈し、そこに含まれる証拠についての質問に答えられるかをテストする。

スコア分布

非推奨のモデルを含める

ランク	モデル	スコア
1	Claude Fable 5.2 (Max, Default Fallback) Anthropic	67.1%
2	Gemini 4 Carbon (High) Google	64.0%
3	GPT-6 Astra (Max) OpenAI	62.7%
4	Claude Opus 5.5 (Max, Default Fallback) Anthropic	61.5%
5	GPT-6.1 Terra (Max) OpenAI	60.2%
6	Claude Sonnet 5.5 (Max, Default Fallback) Anthropic	59.6%
7	Gemini 4 Argon (High) Google	59.6%
8	GPT-6.1 Sol (Max) OpenAI	59.0%
9	Muse Wonder (Max) Meta	55.3%
10	Claude Haiku 5.5 (Max) Anthropic	49.1%
11	Kimi K3.1 Pro Kimi	45.3%
12	MiMo-V2.6-Pro Xiaomi	43.5%
13	Inkling 2 Small Thinking Machines	42.9%
14	Gemini 3.8 Flash (High) Google	41.0%
15	DeepSeek V4.1 Flash 1017 (Max) DeepSeek	40.4%
16	GLM-5.3-Flash Z AI	39.8%
17	Grok 4.7 (Xhigh) SpaceXAI	37.9%
18	Qwen3.8 Max (0902) Alibaba	31.7%
19	MiniMax-M3.1-Flash MiniMax	29.8%
20	GPT-6 Luna (Max) OpenAI	27.3%
21	Mistral Large 4 (High) Mistral	20.5%