IFStruct v1.0は、Liquid AIが2026年にリリースした構造化出力準拠ベンチマークデータセットです。これは、大規模言語モデル（LLM）が指定されたスキーマに準拠した構造化出力（JSON/YAML）を生成する能力を体系的に評価するように設計されています。 このデータセットには 2,000 個のプロンプトが含まれています。各プロンプトでは、モデルがターゲットパターンに基づいて複数のインスタンスを生成する必要があります。プロンプトは、自然な対話、明示的なパス指示、生の JSON スキーマ、コードブロック要件、および追加テキストなしなど、さまざまな形式で提示され、すべてに厳密な基盤となるスキーマ検証仕様が付随しています。このテストは出力形式と構造的準拠のみに焦点を当てており、コンテンツの品質、意味の正しさ、または推論精度は評価しません。スコアリング基準は厳密な二値判定 (合格/不合格) を使用し、モデルの応答がすべての構造的制約を完全に満たしている場合にのみ合格となります。スコアリングの難易度は、低～中程度の能力を持つモデルと最先端のモデルを効果的に区別できるように調整されています。

データフィールド:

• doc_id: 識別子 (0～1999)。
• entity_type: スキーマ分類システム（例：test_recipe）。
• プロンプト：入力された特定のプロンプトワード。
• output_format: 必要な出力形式（jsonまたはyaml）。
• top_level_count: 必要なインスタンス数。整数または範囲形式（JSONエンコードされた文字列）で指定します。
• top_level_key: トップレベルラッパーキー名
• require_wrapper_key: 最上位レイヤーが配列を含むラッパーオブジェクトである必要があるかどうかを示すブール値。
• require_code_block: レスポンスをコードブロックで囲む必要があるかどうかを示すブール値。
• require_no_commentary: ペイロード外のテキストを禁止するかどうかを示すブール値。
• json_schema: モデルの出力が満たすべきJSONスキーマ仕様（JSONエンコードされた文字列）。

引用

@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}