IFStruct v1.0 ist ein von Liquid AI im Jahr 2026 veröffentlichter Benchmark-Datensatz zur Überprüfung der Konformität mit strukturierten Ausgaben. Er dient der systematischen Bewertung der Fähigkeit großer Sprachmodelle (LLMs), strukturierte Ausgaben (JSON/YAML) zu generieren, die einem vorgegebenen Schema entsprechen. Dieser Datensatz enthält 2.000 Eingabeaufforderungen. Jede Aufforderung erfordert vom Modell die Generierung mehrerer Instanzen basierend auf dem Zielmuster. Die Aufforderungen werden in verschiedenen Stilen präsentiert, darunter natürlicher Dialog, explizite Pfadanweisungen, rohes JSON-Schema, Codeblockanforderungen und ohne zusätzlichen Text. Alle Formate unterliegen strengen Validierungsvorgaben für das zugrunde liegende Schema. Dieser Test konzentriert sich ausschließlich auf Ausgabeformat und strukturelle Konformität und bewertet weder Inhaltsqualität noch semantische Korrektheit oder Inferenzgenauigkeit. Das Bewertungskriterium ist eine strikte binäre Entscheidung (bestanden/nicht bestanden): Der Test gilt nur dann als bestanden, wenn die Antwort des Modells alle Strukturvorgaben vollständig erfüllt. Der Schwierigkeitsgrad der Bewertung wurde so kalibriert, dass er effektiv zwischen Modellen mit geringer bis mittlerer Leistungsfähigkeit und hochmodernen Modellen differenziert.

Datenfelder:

• doc_id: Kennung (0–1999).
• entity_type: Schema-Klassifizierungssystem (z.B. test_recipe).
• Eingabeaufforderung: Das eingegebene Eingabeaufforderungswort.
• output_format: Das gewünschte Ausgabeformat (json oder yaml).
• top_level_count: Die erforderliche Anzahl an Instanzen, als ganze Zahl oder als Bereich (JSON-kodierte Zeichenkette).
• top_level_key: Name des Wrapper-Schlüssels der obersten Ebene
• require_wrapper_key: Ein boolescher Wert, der angibt, ob die oberste Ebene ein Wrapper-Objekt sein muss, das ein Array enthält.
• require_code_block: Ein boolescher Wert, der angibt, ob die Antwort in einen Codeblock eingeschlossen werden muss.
• require_no_commentary: Ein boolescher Wert, der angibt, ob Text außerhalb der Nutzdaten verboten werden soll.
• json_schema: Die JSON-Schema-Spezifikation (JSON-codierte Zeichenkette), die die Modellausgabe erfüllen muss.

Zitat

@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}