DreamBench++ 이미지 자동 평가 벤치마크 데이터 세트

DreamBench++는 칭화대학교, 시안교통대학교, 일리노이대학교 어바나-샴페인 캠퍼스, 중국과학원, Megvii의 연구진이 개인화된 이미지 생성 기술 평가의 문제점을 해결하기 위해 2024년에 공동으로 출시한 새로운 벤치마크입니다. 멀티모달 기능을 갖춘 GPT-4o를 도입하여 인간의 선호도에 따른 심층적인 정렬과 자동 평가를 구현하고, 보다 포괄적이고 다양한 데이터 세트를 제공합니다.

DreamBench++의 주요 기능은 다음과 같습니다.

1. 자동 평가: GPT-4o를 사용하여 자동 평가를 실시하면 수동 평가에 소요되는 시간과 비용이 줄어듭니다.
2. 인간의 선호도 정렬: 신중하게 만들어진 프롬프트를 설계함으로써 GPT-4o는 평가 과정에서 인간처럼 생각할 수 있으며, 평가 결과가 인간의 직관과 선호도와 일치하도록 보장합니다.
3. 포괄적인 데이터 세트: 사물, 생물, 양식화된 이미지의 세 가지 유형의 이미지를 포함하여 200개의 키워드를 포함하는 개인화된 데이터 세트를 구축했습니다. 이미지 출처에는 Unsplash, Rawpixel, Google 이미지 검색이 포함되었습니다. 이미지의 선명도와 인식도를 높이기 위해 배경이 깨끗하고 피사체의 비율이 큰 이미지를 선택했습니다.
4. 실험 결과: 7가지 서로 다른 이미지 생성 방법을 평가한 결과, DreamBench++의 이미지 유사도와 텍스트 준수 점수가 인간의 평가와 매우 일치했으며, 일관성이 각각 79.64%와 93.18%에 도달했습니다. 이는 기존 DINO 점수와 CLIP 점수보다 50% 이상 높은 수치입니다.

DreamBench++의 출시는 개인화된 이미지 생성 기술을 평가하기 위한 새로운 도구와 방법을 제공하며, 이는 이 분야의 추가 개발을 촉진하는 데 도움이 될 것입니다. 관련 논문과 데이터 세트는 연구자와 개발자가 사용하고 참고할 수 있도록 공개되었습니다.