SVGベンチマークは、Rapidataが2025年に公開した、大規模なモデル静止画像生成評価データセットです。これは、最先端の大規模言語モデル30種類が、テキストプロンプトに基づいて静止SVGを生成する能力を、人間の評価を通じて比較することを目的としています。 データは、人間が作成したデータセットまたは公開データセットからの英語のプロンプト500件、画像比較サンプル188,754件、人間の投票に基づく選好回答1,355,161件を含むペアワイズ比較によって収集されました。評価モデルは、Claude、GPT、Gemini、DeepSeek、Qwen、Kimiなど、30の主流モデルを対象としました。評価の次元は、アライメント、一貫性、選好であり、すべて自動化された指標を使用せず、人間の投票集計に基づいています。

データセットの構成:

このデータセットには合計1,355,161件の投票があり、その内訳は以下のとおりです。

• 主観的な好み：451,452回
• マッチ率：451,603回
• 連続性：452,106回

データフィールド:

• prompt: 文字列。画像を生成するために使用された元のテキストプロンプト。
• image1 / image2: モデル1とモデル2から生成されたSVGラスタライズPNGファイル。
• model1 / model2: 対応する画像のモデル識別子を表す文字列（model1は常にアルファベット順で名前が最初に来るモデルです）。
• weighted_results_image*_preference / coherence / alignment: 3 つの次元全体にわたるモデルの総合スコア (0 ～ 1) を表す浮動小数点数。
• detailed_results_*: 文字列、JSON形式。このディメンションにおける各手動投票の詳細記録と投票者の人口統計情報が含まれます。
• 注：一部のサンプルは、単一次元または二次元の評価のみに参加する場合があります。評価に参加しないフィールドは、null値を持つ場合があります。

  

  引用

@dataset{yupp_svg_2025,
title={Yupp SVG Dataset: Exploration of the Reasoning and Coding Abilities of Frontier Models},
author={Yupp AI},
year={2025},
url={https://huggingface.co/datasets/yupp/yupp-svg-20251204}
}