IFStruct v1.0 est un ensemble de données de référence de conformité de sortie structurée publié par Liquid AI en 2026. Il est conçu pour évaluer systématiquement la capacité des grands modèles de langage (LLM) à générer des sorties structurées (JSON/YAML) conformes à un schéma spécifié. Cet ensemble de données contient 2 000 invites. Chaque invite exige du modèle qu'il génère plusieurs instances à partir du modèle cible. Les invites sont présentées sous différents formats : dialogue naturel, instructions de chemin explicites, schéma JSON brut, exigences de blocs de code et absence de texte supplémentaire, le tout accompagné de spécifications de validation de schéma sous-jacentes strictes. Ce test se concentre uniquement sur le format de sortie et la conformité structurelle, et n'évalue ni la qualité du contenu, ni l'exactitude sémantique, ni la précision de l'inférence. Le critère de notation utilise une décision binaire stricte (réussite/échec) : la réussite n'est accordée que si la réponse du modèle satisfait pleinement toutes les contraintes structurées. Le niveau de difficulté de la notation a été calibré pour différencier efficacement les modèles de faible à moyenne capacité des modèles de pointe.

Champs de données:

• doc_id : Identifiant (0–1999).
• entity_type: Système de classification de schéma (par exemple, test_recipe).
• invite : Le mot d'invite spécifique saisi.
• output_format : Le format de sortie requis (json ou yaml).
• top_level_count : Le nombre requis d'instances, au format entier ou plage (chaîne encodée JSON).
• top_level_key : Nom de la clé du wrapper de niveau supérieur
• require_wrapper_key : une valeur booléenne indiquant si la couche supérieure doit être un objet wrapper contenant un tableau.
• require_code_block : Valeur booléenne indiquant si la réponse doit être encapsulée dans un bloc de code.
• require_no_commentary : Valeur booléenne indiquant s’il faut interdire le texte en dehors de la charge utile.
• json_schema : La spécification JSON Schema (chaîne encodée en JSON) que la sortie du modèle doit respecter.

Citation

@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}