MMMLU 다국어 멀티태스크 언어 이해 데이터 세트

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

다국어 대규모 다중 작업 언어 이해(MMMLU) 데이터 세트는 OpenAI가 2024년에 출시한 오픈 소스 데이터 세트로, 다양한 언어, 인지 및 문화적 맥락에서 인공 지능 모델의 성능을 평가하고 개선하는 것을 목표로 합니다. 대규모 다중 작업 언어 이해(MMLU) 벤치마크를 기반으로 구축된 MMMLU는 AI 모델이 달성한 상식적 지표로, 기초 지식부터 법률, 물리학, 역사, 컴퓨터 과학과 같은 고급 전문 분야에 이르기까지 57개 분야의 작업을 포함합니다.

연구팀은 전문적인 번역가를 활용하여 MMLU 테스트 세트를 14개 언어로 번역했습니다. 이러한 평가를 위해 인간 번역가를 활용하면 번역의 정확성에 대한 신뢰도가 높아지며, 특히 요루바어와 같이 자원이 부족한 언어의 경우 더욱 그렇습니다. 전문 번역가가 번역을 수행함으로써 MMMLU는 데이터 세트의 정확성과 신뢰성을 보장할 수 있습니다. 이는 언어 간 작업에서 AI 모델의 역량을 평가하는 데 중요합니다.

MMMLU의 주요 기능으로는 다국어 평가, 다중 작업 능력 테스트, 문화 간 이해, 모델 다양성 개선, 연구 개발 지원 등이 있습니다. 기술적 원칙에는 데이터 세트 구축, 전문 번역, 다국어 지원, 평가 도구 개발, 성과 분석이 포함됩니다.

MMMLU의 응용 시나리오에는 언어 모델 평가, 기계 번역 시스템, 문화 간 의사소통, 교육 기술, 국제 비즈니스 등이 포함됩니다. 이 데이터 세트의 공개는 자연어 처리(NLP) 연구 분야에 광범위한 영향을 미칠 것입니다. MMMLU는 이론적 탐구와 실제 응용 프로그램 개발 모두에 중요한 자원 지원을 제공합니다.