P-MMEval 다국어 멀티태스크 벤치마크 데이터 세트

*이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

P-MMEval 데이터 세트는 알리바바 그룹의 Tongyi Laboratory에서 2024년에 만든 대규모 다국어 멀티태스크 벤치마크 데이터 세트로, 대규모 언어 모델(LLM)의 다국어 기능을 종합적으로 평가하는 것을 목표로 합니다. 관련 논문 결과는 다음과 같습니다.P-MMEVAL: LLM의 일관된 평가를 위한 병렬 다국어 멀티태스크 벤치마크"

데이터 세트에는 코드 생성, 지식 이해, 수학적 추론, 논리적 추론, 지시 따르기 등의 작업을 다루는 3개의 기본 자연어 처리(NLP) 데이터 세트와 5개의 고급 기능별 데이터 세트가 포함되어 있습니다. P-MMEval은 전문가의 번역 검토를 통해 10개 언어에 대한 일관된 적용 범위를 보장하고 언어 전반에 걸쳐 병렬 샘플을 제공합니다. 이러한 언어에는 영어, 중국어, 아랍어, 스페인어, 일본어, 한국어, 태국어, 프랑스어, 포르투갈어, 베트남어가 포함됩니다.