IFStruct v1.0 عبارة عن مجموعة بيانات مرجعية لمدى توافق المخرجات المهيكلة تم إصدارها بواسطة Liquid AI في عام 2026. وهي مصممة لتقييم قدرة نماذج اللغة الكبيرة (LLMs) بشكل منهجي على إنشاء مخرجات مهيكلة (JSON/YAML) تتوافق مع مخطط محدد. تحتوي هذه المجموعة من البيانات على 2000 مُوجِّه. يتطلب كل مُوجِّه من النموذج توليد عدة حالات بناءً على النمط المستهدف. تُعرض المُوجِّهات بأساليب متنوعة، تشمل الحوار الطبيعي، وتعليمات المسار الصريحة، ومخطط JSON الخام، ومتطلبات كتلة التعليمات البرمجية، وبدون نص إضافي، وكلها مصحوبة بمواصفات صارمة للتحقق من صحة المخطط الأساسي. يركز هذا الاختبار فقط على تنسيق الإخراج والامتثال الهيكلي، ولا يُقيِّم جودة المحتوى، أو الصحة الدلالية، أو دقة الاستدلال. يستخدم معيار التقييم قرارًا ثنائيًا صارمًا (نجاح/فشل)، حيث يُمنح النجاح فقط إذا استوفت استجابة النموذج جميع القيود الهيكلية بالكامل. تمت معايرة صعوبة التقييم للتمييز بفعالية بين النماذج ذات القدرات المنخفضة إلى المتوسطة والنماذج المتطورة.

حقول البيانات:

• doc_id: المعرف (0–1999).
• نوع الكيان: نظام تصنيف المخطط (على سبيل المثال، وصفة الاختبار).
• الموجه: كلمة الموجه المحددة التي تم إدخالها.
• output_format: تنسيق الإخراج المطلوب (json أو yaml).
• top_level_count: العدد المطلوب من الحالات، بتنسيق عدد صحيح أو نطاق (سلسلة مشفرة JSON).
• مفتاح المستوى الأعلى: اسم مفتاح التغليف من المستوى الأعلى
• require_wrapper_key: قيمة منطقية تشير إلى ما إذا كان يجب أن تكون الطبقة العليا كائن غلاف يحتوي على مصفوفة.
• require_code_block: قيمة منطقية تشير إلى ما إذا كان يجب تغليف الاستجابة في كتلة برمجية.
• require_no_commentary: قيمة منطقية تشير إلى ما إذا كان سيتم حظر النص خارج الحمولة.
• json_schema: مواصفات مخطط JSON (سلسلة JSON المشفرة) التي يجب أن يفي بها ناتج النموذج.

الاستشهاد

@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}