Der P-MMEval-Datensatz ist ein umfangreicher mehrsprachiger Multitasking-Benchmark-Datensatz, der 2024 vom Tongyi Laboratory der Alibaba Group erstellt wurde und darauf abzielt, die mehrsprachigen Fähigkeiten großer Sprachmodelle (LLMs) umfassend zu bewerten. Die relevanten Papierergebnisse sindP-MMEVAL: Ein paralleler mehrsprachiger Multitasking-Benchmark zur konsistenten Bewertung von LLMs" Der Datensatz enthält 3 grundlegende Datensätze zur Verarbeitung natürlicher Sprache (NLP) und 5 erweiterte fähigkeitsspezifische Datensätze, die Aufgaben wie Codegenerierung, Wissensverständnis, mathematisches Denken, logisches Denken und Befolgen von Anweisungen abdecken. Durch die Überprüfung der Übersetzungen durch Experten gewährleistet P-MMEval eine konsistente Abdeckung der 10 Sprachen und bietet parallele Beispiele für alle Sprachen. Zu diesen Sprachen gehören Englisch, Chinesisch, Arabisch, Spanisch, Japanisch, Koreanisch, Thailändisch, Französisch, Portugiesisch und Vietnamesisch.

Zitat

@misc{zhang2024pmmevalparallelmultilingualmultitask,
title={P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs},
author={Yidan Zhang and Yu Wan and Boyi Deng and Baosong Yang and Haoran Wei and Fei Huang and Bowen Yu and Junyang Lin and Fei Huang and Jingren Zhou},
year={2024},
eprint={2411.09116},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2411.09116},
}