LLM評価

15% 重み

一般 · 15% 重み

コーディング · 15% 重み

15% 重み

10% 重み

一般 · 10% 重み

コーディング · 10% 重み

5% 重み

5% 重み

数学、科学、人文科学にわたる2,500の専門家検証済み問題からなるフロンティアレベルのベンチマーク。最終的な閉形式の学術評価として設計されている。

研究レベルの物理推論タスクでLLMをテストするために設計されたベンチマークで、71の複合的な研究課題を特徴とする。

言語モデルが10kから100kトークン（cl100k_baseトークナイザで計測）に及ぶ長文文書から情報を抽出し、推論し、統合する能力を測定する難易度の高いベンチマーク。

GPQAの中でも最も難しい198問。PhDの専門家は65%の正答率を達成するが、熟練した非専門家はWebアクセスがあっても34%にとどまる。

GDPval-AA v2.1は、OpenAIのGDPvalデータセット向けの評価フレームワーク。44の職種と9つの主要産業にわたる現実のタスクでAIモデルをテストする。モデルにはシェルアクセスとWebブラウジング機能が与えられ、Stirrupを介したエージェントループでタスクを解く。Eloレーティングはブラインドのペア比較から導出される。

58の多様で検証可能なドメイン外制約における指示追従の汎化性能を評価するベンチマークで、特定の出力要件に従うモデルの能力をテストする。

ソフトウェアエンジニアリング、システム管理、データ処理のタスクを通じて、ターミナル環境におけるAI能力を評価するエージェント型ベンチマーク。

デュアルコントロールの対話型AIベンチマーク。テクニカルサポートのシナリオをシミュレートし、エージェントとユーザーの双方が協調して行動し、通信サービスの問題を解決する必要がある。

科学者がキュレーションしたコーディングベンチマーク。16の科学分野にわたる80の実験課題から派生した288のテストセット小問題を特徴とする。

MMMUの拡張ベンチマーク。近道や推測の戦略を排除し、30の学問分野にわたってマルチモーダルモデルをより厳密にテストする。

Terminal-Bench 2.0の検証済みリフレッシュ版。ソフトウェアエンジニアリング、システム管理、データ処理、モデルトレーニング、セキュリティにわたる89のキュレーション済みタスクを収録し、環境と指示を修正することで、スコアが環境の不足ではなくエージェントの能力を反映するようにしている。

Wisedocsによるオープンベンチマークで、長く断片化された医療記録をモデルがどれだけうまく推論できるかを測定する。保険や医療ケースのレビュー時に専門職が依拠する複数文書の統合を実行する。

𝜏-Knowledgeフレームワークによるフィンテック顧客サポートベンチマーク。エージェントが大規模で非構造化な知識ベースを探索し、多段階のツール呼び出しを実行して現実的な銀行業務ワークフローを解決できるかをテストする。

14の科目領域にわたる12,000の大学院レベルの問題を備えたMMLUの拡張版。10個の選択肢と、より深い推論が求められる点を特徴とする。

汚染のないコーディングベンチマーク。LeetCode、AtCoder、CodeForcesから新しい競技プログラミング問題を継続的に収集し、コード生成、自己修正、実行を評価する。

2025年American Invitational Mathematics Examinationの全30問。000〜999の整数解答を用いてオリンピアードレベルの数学的推論をテストする。

CognitionのFrontierCode 1.1の実装。実際のリポジトリのメンテナに実際にマージされる形でコーディングタスクを完了できるかをモデルにテストする非公開のエージェント型コーディングベンチマーク。

MMLUの軽量な多言語版で、多様な言語と文化的文脈にわたる知識・推論スキルを評価するために設計されている。

HarveyのLegal Agent Benchmark（LAB）の実装。24の法務実務領域にわたる120の非公開タスクからなるHarveyのデータセットを用いて、現実の法務業務でAIエージェントをテストする。Harveyとの協力で構築されたv1.1では、すべての成果物をタスクの原資料と照合してハルシネーションを検査するため、すべてのルーブリック基準を満たしていても重大なハルシネーションを含む成果物には得点が与えられない。3名の審査員によるパネルが各成果物を基準ごとに採点する。

データ分析ベンチマーク。ビジネスアナリストやデータアナリストが日常的に直面する定量的な問いに答えるため、スプレッドシートや文書を扱うAIエージェントの能力をテストする。

ServiceNowのEnterpriseOps-Gymの独立実装。LLMエージェントが8つのビジネス領域にわたるステートフルで多段階のエンタープライズワークフローを、ライブのツール利用を通じて完了できるかをテストし、基盤データベースの最終状態で採点するエージェント型ベンチマーク。

MATHデータセットの500問のサブセット。代数、幾何、整数論を含む6つの領域にわたる競技レベルの数学を扱う。

HeyGenのCode2Video Benchの実装。114のデザインブリーフからHyperFrames HTMLを用いて短い製品・ブランド動画をどれだけうまく作成できるかを評価する。

Google DeepMindのMultimodal Knowledge Agent（MKA）ベンチマークの実装であり、エージェントが建築図面、エンジニアリング図面、臨床スキャンなど視覚情報の濃いプロジェクトファイルを読み取り、専門家と同等の成果物を作成できるかをテストする。

Handshake AIのVIALSベンチマークの実装であり、言語モデルが科学画像を解釈し、そこに含まれる証拠についての質問に答えられるかをテストする。

AIモデルがインタラクティブな3D体験をどれだけ構築できるかを測るベンチマーク。モデルはStirrupを介してオフラインサンドボックス内でエージェントとして動作し、書面のブリーフをthree.jsのシーンに変換する。Eloレーティングはブラインドのペア比較投票から導出される。

Collinear AIのCWE-benchの実装。防御的サイバーセキュリティベンチマークで、コーディングエージェントが実際のオープンソースコードベースを監査し、指定された懸念領域の脆弱性を発見し、正当な動作を壊さずに修正できるかをテストする。

Berkeley RDIのCyberGym-E2Eの実装。防御的サイバーセキュリティベンチマークで、C/C++オープンソースプロジェクトに実在するメモリ安全性の脆弱性を発見し、概念実証入力で再現し、プロジェクトのテストを壊さずに修正できるかをエージェントでテストする。

VercelのDeepsecBenchの実装。実際のオープンソースアプリケーションコードにおける脆弱性をエージェントがどれだけ発見できるかをテストする防御的サイバーセキュリティベンチマーク。

OpenAIのHealthBench：5,000の健康に関する会話を医師作成のルーブリックで採点する。救急紹介からグローバルヘルスまでを扱う。

OpenAIのHealthBench Professional：診察、文書作成、リサーチのタスクを扱う525の臨床医会話を、医師作成のルーブリックで採点する。

IBMのITBenchベンチマークの実装。オフラインのインシデントスナップショットからKubernetesインシデントの根本原因分析をAIエージェントでテストする。エージェントはアラート、イベント、トレース、トポロジを調査し、障害の原因となる寄与要因エンティティ（Deployment、Pod、Namespace、ネットワークポリシーなど）を特定する。

APEX-Agentsベンチマークの実装。現実的なアプリケーションのツール群を備えたプロフェッショナルサービス環境において、長期的かつアプリケーション横断的なタスクでAIエージェントをテストする。