RealCQA: 과학 차트 질문 응답을 위한 일차 논리 테스트베드

우리는 문서 내 차트 시각화에서 데이터를 이해하고 추출하는 데 직면한 문제를 해결하기 위해 차트 시각 질문 응답(QA) 작업에 대한 포괄적인 연구를 제시합니다. 합성 차트를 사용하여 이 문제를 해결하려는 노력에도 불구하고, 주석이 달린 실제 세계 데이터의 부족으로 인해 솔루션은 제한적입니다. 이러한 간극을 메우기 위해, 우리는 실제 세계 차트에 대한 시각 QA 작업을 위한 벤치마크와 데이터셋을 소개하며, 작업의 체계적인 분석과 템플릿 기반 차트 질문 생성을 위한 새로운 분류법을 제공합니다. 우리의 기여는 순위가 있는 변형과 순위가 없는 변형을 포함하는 새로운 답변 유형인 '리스트'를 도입하는 것입니다. 우리의 연구는 과학 문헌에서 수집된 실제 세계 차트 데이터셋을 대상으로 수행되었으며, 다른 연구들보다 더 높은 시각적 복잡성을 보여줍니다. 우리는 템플릿 기반 QA에 초점을 맞추고, 이를 모델의 일차 논리능력을 평가하는 표준으로 활용할 수 있는 방법을 탐구합니다. 실제 세계 외부 분포 데이터셋에서 수행된 실험 결과는 대규모 사전 학습 모델의 강건한 평가를 제공하며, 일반적으로 신경망의 차트 시각 QA 및 형식 논리 검증 분야를 발전시키는데 기여합니다.