ReasonMap 트래픽 그래프 추론 벤치마크 데이터 세트

이 데이터 세트는 웨스트레이크 대학교, 싱가포르 국립대학교, 저장 대학교, 화중과학기술대학교의 연구팀이 2025년에 제안한 새로운 평가 벤치마크입니다. 관련 논문 결과는 다음과 같습니다.다단계 운송업자(MLLM)가 집까지 안내해 줄 수 있을까? 대중교통 지도를 활용한 세밀한 시각적 추론에 대한 벤치마크 연구ReasonMap은 이미지 내 공간 관계와 경로 추론을 강조합니다. 고해상도 교통 지도(주로 지하철 노선도)에 초점을 맞춘 최초의 다중 모드 추론 평가 벤치마크로, 대규모 모델이 이미지 내 세밀하게 구조화된 공간 정보를 이해하는 능력을 평가하도록 설계되었습니다.

데이터 세트 기능:

• 고해상도 과제: 데이터 세트의 각 지도 이미지의 평균 해상도는 최대 5839×5449로, 기존 시각적 추론 과제보다 훨씬 높으며 모델의 이미지 인코딩 기능에 대한 요구 사항이 더 높습니다.

• 난이도 인식 디자인: 다양한 난이도 수준에서 질문-답변 쌍의 균형 잡힌 분포를 보장하기 위해 이미지에 난이도를 표시하여 모델 기능을 보다 포괄적으로 평가하는 데 도움이 됩니다.

• 다차원 평가 시스템: 모델 답변의 정확성을 검토할 뿐만 아니라 경로 합리성 및 전환 전략을 포함하여 모델 경로의 품질에 대한 세부적인 평가를 수행합니다.

• 실제 사용 시나리오에 가깝습니다. 이러한 작업은 이미지 추론에 직접적으로 기반을 두고 있으며, 구조화된 미들웨어에 의존하지 않으며, 사람이 지도를 사용할 때 생각하는 방식에 더 가깝습니다.