MULTI-Benchmark: 텍스트와 이미지를 활용한 다중 모드 이해를 위한 리더보드

이 데이터 세트는 상하이 교통대학에서 발표한 멀티모달 벤치마크 MULTI로, 대규모 멀티모달 모델이 복잡한 표와 이미지를 이해하고 긴 텍스트 추론을 수행하는 능력을 평가하는 것을 목표로 합니다. 이 시험은 다양한 형태의 입력을 제공하며, 실제 시험 스타일을 반영하여 정확하거나 개방형으로 응답해야 합니다. MULTI에는 공식 도출부터 이미지 분석, 교차 모달 추론까지 다양한 과제를 다루는 18,000개 이상의 문제가 포함되어 있습니다.

연구팀은 또한 500개의 문제를 담고 있는 어려운 질문의 신중하게 선택된 하위 집합인 MULTI-Elite와 4,500개 이상의 외부 지식 맥락으로 구성된 데이터 세트인 MULTI-Extend를 만들었습니다. MULTI는 강력한 평가 플랫폼 역할을 할 뿐만 아니라 전문가 수준의 AI를 개발할 수 있는 길을 제시합니다.