UniChart: 차트 이해 및 추론을 위한 보편적인 시각-언어 사전 학습 모델

차트는 데이터 분석, 주요 통찰력 시각화, 그리고 복잡한 추론 질문에 대한 답변을 제공하는 데 매우 널리 사용됩니다. 자연어를 사용한 차트 기반 데이터 분석을 용이하게 하기 위해 최근 몇 가지 하위 작업들이 도입되었습니다. 예를 들어 차트 질문 응답과 차트 요약 등이 있습니다. 그러나 이러한 작업들을 해결하는 대부분의 방법들은 차트의 구조(예: 데이터가 어떻게 시각적으로 인코딩되는지, 차트 요소들이 서로 어떻게 관련되어 있는지)를 명시적으로 모델링하지 않는 언어 또는 비전-언어 태스크에서 사전 학습을 사용합니다.이 문제를 해결하기 위해 먼저 다양한 주제와 시각적 스타일을 포함하는 대규모 차트 코퍼스를 구축했습니다. 그런 다음 차트 이해 및 추론을 위한 사전 학습 모델인 UniChart를 소개합니다. UniChart는 차트의 관련 텍스트, 데이터, 그리고 시각적 요소들을 인코딩한 후, 차트 기반 텍스트 디코더를 사용하여 자연어로 예상 출력을 생성합니다. 우리는 다음과 같은 여러 가지 차트 특화 사전 학습 작업들을 제안합니다: (i) 바나 선 등의 시각적 요소와 데이터를 추출하는 저수준 작업, (ii) 차트 이해 및 추론 능력을 획득하기 위한 고수준 작업.우리는 대규모 코퍼스에서 차트 특화 저수준 및 고수준 작업으로 사전 학습된 모델을 세 가지 하위 작업에 대해 미세 조정(finetuning)한 결과, 세 가지 하위 작업에서 최고 수준의 성능을 달성하였음을 확인하였습니다.