Command Palette
Search for a command to run...
IFStruct v1.0 结构化输出合规性基准数据集
IFStruct v1.0 是由 Liquid AI 于 2026 年发布的结构化输出合规性基准测试数据集,旨在系统评估大语言模型(LLM)生成符合指定 Schema 的结构化输出(JSON/YAML)的能力。 该数据集包含 2,000 条提示词(Prompt),每条提示词要求模型根据目标模式生成若干实例,提示词的呈现风格包括自然对话、显式路径指令、原始 JSON Schema 、代码块要求、无附加文本等,且均附带严格的底层 Schema 验证规范。该测试仅关注输出格式与结构合规性,不涉及内容质量、语义正确性或推理准确性的评估。且评分标准采用严格的二值判定(通过/不通过),仅当模型响应完全满足所有结构化约束时才算通过。评分难度经过校准,适用于中低能力模型到前沿模型的有效区分。
数据字段:
- doc_id:标识符(0–1999)。
- entity_type: Schema 分类体系(如 test_recipe)。
- prompt::输入的具体提示词。
- output_format: 要求的输出格式(json 或 yaml)。
- top_level_count: 要求的实例数量,格式为整数或范围(JSON 编码字符串)。
- top_level_key:顶层包装器键名
- require_wrapper_key:布尔值,指示顶层是否需为包含数组的包装对象。
- require_code_block:布尔值,指示响应是否必须包裹在代码块中。
- require_no_commentary:布尔值,指示是否禁止有效载荷外的文本。
- json_schema:模型输出需满足的 JSON Schema 规范(JSON 编码字符串)。
Citation
@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}