T2I-CoReBenchは、中国科学技術大学、快手科技Klingチーム、香港大学が2025年に提案したテキスト駆動型画像生成モデルの総合評価ベンチマークです。関連する論文結果は「考えるよりも簡単な絵を描くこと: テキストから画像へのモデルは舞台を設定することはできても、劇を演出することはできないのか?「画像生成モデルの組み合わせ能力と推論能力を同時に測定する」ことを目指しています。

このデータセットには、非常に難しいプロンプトが 1,080 個含まれており、生成された画像内の各予想要素が正しく表示されているかどうかを評価するために使用される、12 次元をカバーする約 13,500 個の検査項目が備わっています。

データ構成

このデータセットは、次の 2 つの側面からプロンプトと評価システムを設計します。

• 構成ディメンション: インスタンス、属性、関係という 3 種類のシーン グラフ要素を中心にさまざまな構成構造を構築します。
• 推論の次元: 演繹的、帰納的、および仮説的の 3 種類の推論に基づきます。

きめ細かな評価を容易にするために、各プロンプトには、プロンプトで暗黙的または明示的に要求される各要素が正しく提示されているかどうかを示す「はい/いいえ」チェックリストが付属しています。