SVG 벤치마크는 2025년 Rapidata에서 공개한 대규모 모델 정적 이미지 생성 평가 데이터셋입니다. 이 데이터셋은 최첨단 대규모 언어 모델 30개의 텍스트 프롬프트 기반 정적 SVG 생성 능력을 인간 평가를 통해 비교하는 것을 목표로 합니다. 본 연구에서는 500개의 영어 프롬프트(인간이 직접 작성했거나 공개된 데이터셋에서 추출), 188,754개의 이미지 비교 샘플, 그리고 1,355,161개의 선호도 응답(인간 투표 기반)을 쌍별 비교를 통해 수집했습니다. 평가 모델은 Claude, GPT, Gemini, DeepSeek, Qwen, Kimi 등 30개의 주요 모델을 포함했습니다. 평가 기준은 정렬, 일관성, 선호도였으며, 자동화된 지표를 사용하지 않고 인간 투표 결과를 종합하여 산출했습니다.

데이터 세트 구성:

해당 데이터 세트는 총 1,355,161명의 사람 투표를 받았으며, 그 중 다음과 같습니다.

• 주관적 선호도: 451,452회
• 일치율: 451,603회
• 연속성: 452,106회

데이터 필드:

• prompt: 문자열, 이미지를 생성하는 데 사용된 원래 텍스트 프롬프트입니다.
• 이미지1 / 이미지2: 모델 1과 모델 2에서 생성된 SVG 래스터화된 PNG 파일 이미지입니다.
• model1 / model2: 해당 이미지에 대한 모델 식별자를 나타내는 문자열입니다(model1은 알파벳 순서로 가장 먼저 나오는 모델입니다).
• weighted_results_image*_preference / coherence / alignment: 세 가지 차원에 걸쳐 모델의 종합 점수(0~1)를 나타내는 부동 소수점 숫자입니다.
• detailed_results_*: 문자열, JSON 형식. 이 차원에 대한 각 수동 투표의 상세 기록과 유권자 인구 통계 정보를 포함합니다.
• 참고: 일부 샘플은 단일 차원 또는 2차원 평가에만 참여할 수 있으며, 평가에 참여하지 않는 필드는 null 값을 가질 수 있습니다.

  

  소환

@dataset{yupp_svg_2025,
title={Yupp SVG Dataset: Exploration of the Reasoning and Coding Abilities of Frontier Models},
author={Yupp AI},
year={2025},
url={https://huggingface.co/datasets/yupp/yupp-svg-20251204}
}