SPIQA 다중 모달 과학 논문 질의응답 데이터세트

이 데이터 세트는 2024년 Google Research와 Johns Hopkins University의 연구팀에 의해 출시되었습니다. 관련 논문 결과는 다음과 같습니다.SPIQA: 과학 논문에 대한 다중 모드 질의응답을 위한 데이터 세트".

배경

긴 과학 연구 기사에서 질문에 대한 답을 찾는 것은 독자가 궁금한 점을 빠르게 해결하는 데 도움이 되는 중요한 연구 분야입니다. 그러나 과학 논문을 기반으로 한 기존의 질의응답(QA) 데이터 세트는 규모가 제한되어 있으며 텍스트 콘텐츠에만 초점을 맞추고 있습니다. 이런 한계를 해결하기 위해 연구팀은 SPIQA(과학 논문 이미지 질의응답)를 출시했습니다.

데이터 세트 개요

이는 다양한 컴퓨터 과학 분야의 과학 연구 기사에 있는 복잡한 수치와 표를 해석하기 위해 특별히 설계된 최초의 대규모 QA 데이터 세트입니다. 다중 모드 대규모 언어 모델(MLLM)의 전문성과 그래프 이해 능력을 활용하세요. 연구팀은 다양한 차트, 표, 다이어그램 및 결과 시각화를 포함하는 여러 이미지를 포함하는 정보 검색 작업을 설계했으며, 자동 및 수동 큐레이션을 모두 사용하여 데이터 세트를 생성했습니다. SPIQA에는 훈련, 검증, 세 가지 평가 부분으로 나뉜 27만 개의 질문이 포함되어 있습니다. 연구팀은 12개의 잘 알려진 기본 모델에 대한 광범위한 실험을 수행하여, 현재 다중 모드 시스템이 연구 논문의 미묘한 측면을 이해하는 능력을 평가했습니다.