IFStruct v1.0은 Liquid AI에서 2026년에 발표한 구조화된 출력 준수 벤치마크 데이터셋입니다. 이 데이터셋은 대규모 언어 모델(LLM)이 지정된 스키마를 준수하는 구조화된 출력(JSON/YAML)을 생성하는 능력을 체계적으로 평가하기 위해 설계되었습니다. 이 데이터셋은 2,000개의 프롬프트로 구성되어 있습니다. 각 프롬프트는 모델이 목표 패턴에 따라 여러 인스턴스를 생성하도록 요구합니다. 프롬프트는 자연스러운 대화, 명시적인 경로 안내, 원시 JSON 스키마, 코드 블록 요구 사항, 추가 텍스트 없음 등 다양한 스타일로 제공되며, 모든 프롬프트에는 엄격한 기본 스키마 유효성 검사 사양이 적용됩니다. 이 테스트는 출력 형식 및 구조적 준수 여부에만 초점을 맞추고, 콘텐츠 품질, 의미적 정확성 또는 추론 정확도는 평가하지 않습니다. 채점 기준은 엄격한 이진 결정(통과/실패)을 사용하며, 모델의 응답이 모든 구조적 제약 조건을 완벽하게 충족하는 경우에만 통과로 인정됩니다. 채점 난이도는 성능이 낮은 모델과 중간 수준인 모델, 그리고 최첨단 모델을 효과적으로 구분할 수 있도록 조정되었습니다.

데이터 필드:

• doc_id: 식별자(0–1999).
• entity_type: 스키마 분류 시스템(예: test_recipe).
• 프롬프트: 입력된 구체적인 프롬프트 단어입니다.
• output_format: 필요한 출력 형식(json 또는 yaml).
• top_level_count: 필요한 인스턴스 수를 정수 또는 범위 형식(JSON으로 인코딩된 문자열)으로 지정합니다.
• top_level_key: 최상위 래퍼 키 이름
• require_wrapper_key: 최상위 레이어가 배열을 포함하는 래퍼 객체여야 하는지 여부를 나타내는 부울 값입니다.
• require_code_block: 응답을 코드 블록으로 묶어야 하는지 여부를 나타내는 부울 값입니다.
• require_no_commentary: 페이로드 외부에 텍스트를 금지할지 여부를 나타내는 부울 값입니다.
• json_schema: 모델 출력이 충족해야 하는 JSON 스키마 사양(JSON으로 인코딩된 문자열).

소환

@article{liquidAI2026IFStruct,
author = {Liquid AI},
title = {IFStruct: Measuring structured-output compliance},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/ifstruct-v1.0}
}