ExtractBench は、LlamaIndex が 2026年に公開したドキュメント構造化抽出のためのベンチマークデータセットです。これはユーザー定義のスキーマに基づく企業文書情報抽出システムの標準的な評価基準を提供することを目的としており、長リスト完全復元、スパースな事実の位置特定、密なレイアウトフィールドの埋め込みなど、複雑な抽出タスクの研究やモデル性能の評価をサポートします。関連する論文は『ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction』です。

このデータセットには、実務および合成された計 370 のドキュメント（合計 4,869 ページ）が含まれており、8 つの商業分野と 67 のドキュメントタイプをカバーしています。各レコードはテストケースであり、入力は完全なドキュメントとユーザーが定義したスキーム（Schema）、出力はそのスキーム仕様に準拠した JSON オブジェクトで、各抽出値の出所となるページ番号と境界ボックスが証拠として付随します。本ベンチマークでは、タスク難易度、知覚的难度、表構造、ドキュメント長さ、ビジネス領域という 5 つの独立した次元に基づいて各ドキュメントにタグ付けされており、低いスコアの原因を具体的な要因に帰属させることが容易になります。

データセット構成：

• 篇幅に応じて3つのサブセットに分かれています：

  • short：252 テストケース、615 ページ、単一ドキュメントは最大 10 ページまで
  • medium：98 テストケース、2,438 ページ、11〜50 ページ
  • long：20 テストケース、1,816 ページ、50 ページ超

• タスクの課題別に分類されます：

  • T1 長リストの完全性：154 ドキュメント、繰り返される構造における全量の抽出を重点とする
  • T2 長文書の事実位置特定：39 ドキュメント、大量のテキストの中から特定の事実を正確に見つけることを重点とする
  • T3 高密度ドキュメントからの抽出：214 ドキュメント、複雑な組版、手書き文字、スキャンノイズ下でのフィールド埋め込みを重点とする

データフィールド：

• id：テストケース固有識別子
• category：データセット分割（short / medium / long）
• pdf：対応するソースドキュメントへの相対パス
• data_schema：出力形式を検証するために必要な JSON エンコーディングされた JSON Schema
• expected_output：JSON エンコーディングされた正解抽出結果
• field_rules：比較演算子の種類、証拠出所、検証ステータスを含む、フィールドレベルの採点ルールを示す JSON エンコーディング済みデータ
• repeated_structure：配列レコードのアライメント用アイデンティティキー設定
• tags：タスク課題、知覚的条件、表構造、長さ、ビジネス領域などを網羅する多次元解析ラベル

引用

[JIALIU_0]``` @misc{zhang2026extractbenchbenchmarkschemaguidedenterprise, title={ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction}, author={Boyang Zhang and Adrian Lyjak and Eli Stewart and Zhaoqi Li and Simon Suo}, year={2026}, eprint={2607.29677}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2607.29677}, }