VNHSGE: 베트남 고등학교 졸업 시험 데이터셋 대형 언어 모델용

이 기사에서는 대형 언어 모델(LLM) 평가를 위해 독점적으로 개발된 VNHSGE (베트남 고등학교 졸업 시험) 데이터셋을 소개합니다. 이 데이터셋은 베트남 전국 고등학교 졸업 시험과 유사한 시험에서 생성되었으며, 9개 과목을 포함하고 있습니다. 300편의 문학 에세지와 19,000여 개의 다중 선택 질문이 다양한 주제에 걸쳐 포함되어 있으며, 텍스트 데이터와 함께 이미지를 제공하여 LLM의 질문 응답, 텍스트 생성, 독해 능력, 시각적 질문 응답 등 다중 작업 상황에서의 성능을 평가합니다. 우리는 ChatGPT와 BingChat를 사용하여 VNHSGE 데이터셋에서 LLM의 성능을 평가하고, 베트남 학생들의 성적과 비교하여 그들의 성능을 살펴보았습니다. 결과는 ChatGPT와 BingChat가 문학, 영어, 역사, 지리, 도덕 교육 등 여러 분야에서 인간 수준의 성능을 보였음을 나타내지만, 수학, 물리학, 화학, 생물학 등의 분야에서는 여전히 발전할 여지가 있음을 보여주었습니다. VNHSGE 데이터셋은 광범위한 커버리지와 다양한 활동으로 LLM의 능력을 평가하기 위한 적절한 기준점을 제공하려고 합니다. 우리는 이 데이터셋을 과학 공동체에 공개함으로써 특히 수학과 자연과학 관련 분야에서 LLM의 한계를 해결하는 데 있어 미래 발전을 촉진하고자 합니다.