Ouxiang Li Yuan Wang Xinting Hu Huijuan Huang et al

要約

テキストから画像（T2I）生成は、テキストプロンプトから画像を合成することを目的としており、そのプロンプトは「何を表示すべきか」を明示するとともに、「何を推論できるか」を示唆するため、構成（composition）と推論（reasoning）という二つの核心的な能力に対応している。しかし、近年のT2Iモデルが構成を越えた推論能力において顕著な進展を遂げつつある一方で、既存のベンチマークはこれらの能力の内外において包括的な評価を提供する点で明確な限界を示している。また、こうした進展によりモデルはより複雑なプロンプトを扱えるようになったが、現行のベンチマークは依然として低シーン密度かつ単純な一対一の推論に限定されている。こうした課題に対応するため、本研究ではT2Iモデルの構成能力と推論能力の両方を包括的かつ高複雑度で評価できる「T2I-CoReBench」を提案する。包括性を確保するため、構成能力はシーングラフ要素（インスタンス、属性、関係）に基づき、推論能力は推論の哲学的枠組み（演繹的、帰納的、仮説的）に基づいて構造化し、12次元の評価分類体系を構築した。複雑性を高めるために、現実世界のシナリオに内在する複雑さを踏まえ、構成評価には高密度な構成要素を含むプロンプトを、推論評価には複数ステップにわたる推論を必要とするプロンプトを設計した。さらに、各プロンプトに対して、個々の要素を独立して評価できるよう、YES/NO形式の質問から構成されるチェックリストを付与し、細粒度かつ信頼性の高い評価を可能にした。統計的に、本ベンチマークは1,080の難易度の高いプロンプトと約13,500のチェックリスト質問を含む。27種類の最新T2Iモデルを対象とした実験の結果、モデルの構成能力は高密度かつ複雑なシーンにおいて依然として限界に達していることが明らかになった。一方で、推論能力はさらにその遅れが顕著であり、すべてのモデルがプロンプトから暗黙的に示唆される要素を推論できていないという重要なボトルネックが存在することが明らかになった。プロジェクトページ：https://this-url.com