ShareGPT4V 데이터 세트는 다수의 이미지-텍스트 쌍으로 구성된 고품질 데이터 세트입니다. 이는 이미지 이해 및 텍스트 생성에 대한 모델의 역량을 개선하기 위해 시각 언어 모델(VLM)을 훈련하는 데 사용됩니다. 이 데이터 세트에는 시각적 및 언어적 특징을 효과적으로 정렬하고, 모델의 지시 사항 준수 능력을 향상시키며, ScienceQA, TextVQA, SBU 등과 같은 더 많은 학술적 작업을 통합하는 120만 개의 이미지-텍스트 쌍이 포함되어 있습니다. 이 데이터 세트를 도입함으로써 모델은 다중 모달 표현 학습의 핵심 측면인 이미지-텍스트 정렬 기능을 크게 개선했습니다.

이 데이터 세트는 2023년 중국과학기술대학 상하이 인공지능 연구실에서 공개되었습니다.