HyperAI
Command Palette
Search for a command to run...
CritPt v2
CritPt v2は、研究レベルの物理推論タスクでLLMをテストするために設計されたベンチマークCritPtの改訂版で、70の複合的な研究課題を特徴とする。モデルはオフラインのLinuxサンドボックス内でコード実行ツールを用いて問題を解く。
- インテリジェンス指標の重み
- 10%
- モデル
- 110 現在、 128 合計
- 中央値
- 33.5%
- 範囲
- 0.0%–76.5%
| ランク | 比較する | モデル | スコア | コスト / タスク | 時間 / タスク | 出力 token / タスク |
|---|---|---|---|---|---|---|
| 101 | K2 Horizon 7B Institute of Foundation Models | 1.5% | — | — | — | |
| 102 | Nemotron 3.5 Lightning NVIDIA | 1.5% | $0.077 | 7m 29s | 109K | |
| 103 | 1.0% | $0.043 | 2m 46s | 20.8K | ||
| 104 | K2 Horizon 3.7B Institute of Foundation Models | 1.0% | — | — | — | |
| 105 | North Mini Code Cohere | 1.0% | $0 | 5m 58s | 60.8K | |
| 106 | Mistral Medium 3.5 Mistral | 0.5% | $0.76 | 8m 21s | 70.2K | |
| 107 | 0.0% | — | — | 12.7K | ||
| 108 | 0.0% | $0.0072 | 3m 27s | 20K | ||
| 109 | Mistral Small 4 (Reasoning) Mistral | 0.0% | $0.0077 | 1m 17s | 11.2K | |
| 110 | 0.0% | — | — | 10.1K |