Image Understanding Benchmark는 Microsoft가 2024년에 발표한 이미지 이해 평가용 합성 데이터셋으로, 다중 모달 모델의 이미지 이해, 공간 추론, 시각적 프롬프트, 객체 인식 및 탐지 등의 능력을 평가하기 위해 설계되었습니다.

이 데이터셋은 객체 탐지, 객체 인식, 공간 추론, 시각적 프롬프트의 네 가지 하위 작업으로 구성되며, 총 약 10,240장의 이미지를 생성합니다. 데이터는 프로그래밍 방식으로 생성되며, COCO 객체와 Places365 배경을 결합하고 무작위 회전, 위치 및 크기 변화를 추가하여 다중 모달 모델의 시각적 이해 능력 평가에 사용할 수 있습니다.

데이터셋 구성

데이터셋은 8개의 구성(config)으로 이루어져 있으며, 단일 객체(single)와 이중 객체(pairs) 두 가지 조건으로 나뉘고, 다음 네 가지 하위 작업을 포함합니다:

• 객체 탐지(Object Detection)
• 객체 인식(Object Recognition)
• 공간 추론(Spatial Reasoning)
• 시각적 프롬프트(Visual Prompting)

각 하위 작업은 두 가지 조건에서 각각 1,280장의 이미지를 생성하여 총 약 10,240장의 이미지를 구성합니다. 각 구성은 주로 다음 필드를 포함합니다:

• id: 데이터 샘플의 고유 번호.
• image: 입력 이미지.
• prompt: 모델 평가에 사용되는 프롬프트 텍스트.
• ground_truth: 일부 작업에서의 표준 정답.