ChartQA: 시각적, 논리적 추론을 사용하여 차트에 대한 질문에 답하기 위한 벤치마크 데이터 세트

데이터 세트 배경

차트는 데이터 분석에서 매우 인기가 있습니다. 그래프를 탐색할 때 사람들은 종종 여러 가지 논리 및 산술 연산을 포함하는 다양한 복잡한 추론 질문을 합니다. 그들은 질문에서 그래프의 시각적 특징도 자주 언급했습니다. 그러나 기존 데이터 세트의 대부분은 질문이 템플릿 기반이고 답변이 고정된 어휘에서 나오기 때문에 그러한 복잡한 추론 문제에 초점을 맞추지 않습니다.

데이터 세트 소개

이 연구에서 연구팀은 9.6K개의 사람이 작성한 질문과 사람이 작성한 차트 요약에서 생성된 23.1K개의 질문을 포괄하는 대규모 벤치마크인 ChartQA를 제안했습니다.

차트질문답변 시스템(ChartQA)은 차트와 자연어 질문을 입력하여 답변을 예측합니다. 텍스트 기반 QA와 달리 ChartQA의 차트는 시각적 표현을 포함하고 있으며, 독자는 추세, 이상치 등과 같은 몇 가지 중요한 특징에 더 주의를 기울일 수 있습니다. 데이터 세트에는 실제 그래프와 수동으로 작성된 질문-답변 쌍이 포함되어 있습니다.

ChartQA는 두 가지 면에서 이전 데이터 세트와 다릅니다.

질문 유형: 사람이 작성한 질문 vs. 템플릿 기반 질문
차트 출처: 실제 세계 vs. 도구를 사용하여 생성된 차트

데이터 수집

데이터 수집 및 준비

4개의 그래픽 웹사이트에서 발췌하였으며, 다양한 주제와 스타일을 다루고 있습니다. 기본 데이터 테이블이 포함된 웹사이트의 모든 콘텐츠를 크롤링할 수 있습니다.

데이터 주석

주요 주석 방법은 두 가지가 있습니다.

AMT(Amazon Mechanical Turk)를 사용하여 수동으로 작성된 QA 쌍을 수집합니다.

인간이 분류한 조합 질문(최소 두 개의 연산 포함)과 시각적 질문입니다.

Statista에서 사람이 작성한 QA 쌍을 생성합니다.