DVQA 이미지 질의응답 데이터 세트

이 데이터 세트는 Rochester Institute of Technology와 Adobe Research의 연구 논문입니다. DVQA: 질의응답을 통한 데이터 시각화 이해 .에서 제안된 데이터 세트. 데이터 세트에는 이미지 폴더, 질문-답변 쌍 폴더, 막대 차트 메타데이터 폴더 등 세 개의 폴더가 포함되어 있습니다.

막대 그래프는 숫자 정보를 전달하는 효과적인 방법이지만, 오늘날의 알고리즘으로는 이를 분석할 수 없습니다. 기존의 방법은 사소한 외관 변화에도 실패합니다.연구팀은 질의응답 프레임워크에서 막대 그래프 이해의 여러 측면을 테스트하는 데이터 세트인 DVQA를 제안했습니다.. VQA(시각적 질의응답)와 달리 DVQA는 특정 막대 그래프에 고유한 단어와 답변을 처리해야 합니다. 최신 VQA 알고리즘은 DVQA에서는 성능이 좋지 않았고, 연구팀은 더 나은 성능을 보이는 두 가지 강력한 기준을 제안했습니다. 연구팀의 연구를 통해 알고리즘은 과학 출판물, 인터넷 기사, 비즈니스 보고서 및 기타 여러 분야에서 발견되는 수많은 막대 그래프에서 숫자적, 의미적 정보를 자동으로 추출할 수 있게 될 것입니다.

DVQA 데이터 세트는 matplotlib을 사용하여 생성됩니다. 데이터 세트에는 두 가지 유형의 질문이 있습니다. 하나는 모든 차트에 공통적인 일반적인 질문이고, 다른 하나는 특정 차트에만 유효한 특수 질문입니다.

질문은 a) 구조 이해, b) 데이터 검색, c) 데이터 추론의 세 가지 측면을 다룹니다. 위의 이미지를 예로 들어 보겠습니다.
테스트 세트에는 다양한 단어를 다루는 두 가지 유형의 질문이 있습니다. Test-Familiar에는 훈련 세트에 있는 단어만 포함되고, Test-Novel에는 새로 등장한 단어도 포함됩니다.