T2I-CoReBench는 중국과학기술대학교, 콰이쇼우기술클링팀, 홍콩대학교가 2025년 제안한 텍스트 기반 이미지 생성 모델에 대한 포괄적인 평가 벤치마크입니다. 관련 논문 결과는 다음과 같습니다.생각하기보다 그리기가 더 쉽다: 텍스트-이미지 모델이 무대를 설정할 수는 있지만, 연극을 지휘할 수는 없을까?"는 이미지 생성 모델의 결합 능력과 추론 능력을 동시에 측정하는 것을 목표로 합니다.

이 데이터 세트에는 1,080개의 매우 어려운 질문이 포함되어 있으며, 12개 차원을 포괄하는 약 13,500개의 검사 항목이 탑재되어 있습니다. 이는 생성된 이미지에서 예상되는 각 요소가 올바르게 표현되었는지 평가하는 데 사용됩니다.

데이터 구성

이 데이터 세트는 두 가지 차원에서 프롬프트와 평가 시스템을 설계합니다.

• 구성 차원: 인스턴스, 속성, 관계라는 세 가지 유형의 장면 그래프 요소를 중심으로 다양한 구성 구조를 구축합니다.
• 추론 차원: 연역적, 귀납적, 납치적 추론의 세 가지 유형을 기반으로 합니다.

세밀한 평가를 용이하게 하기 위해 각 프롬프트에는 프롬프트에서 암시적 또는 명시적으로 요구하는 각 요소가 올바르게 제시되었는지 여부를 기록하는 예/아니요 체크리스트가 함께 제공됩니다.