L'ensemble de données P-MMEval est un ensemble de données de référence multilingue et multitâche à grande échelle créé par le laboratoire Tongyi du groupe Alibaba en 2024, qui vise à évaluer de manière exhaustive les capacités multilingues des grands modèles linguistiques (LLM). Les résultats pertinents de l'article sontP-MMEVAL : un benchmark multilingue et multitâche parallèle pour une évaluation cohérente des LLM"

L'ensemble de données contient 3 ensembles de données de traitement du langage naturel (NLP) de base et 5 ensembles de données spécifiques aux capacités avancées, couvrant des tâches telles que la génération de code, la compréhension des connaissances, le raisonnement mathématique, le raisonnement logique et le suivi des instructions. Grâce à une révision de traduction par des experts, P-MMEval garantit une couverture cohérente des 10 langues et fournit des échantillons parallèles entre les langues. Ces langues comprennent l’anglais, le chinois, l’arabe, l’espagnol, le japonais, le coréen, le thaï, le français, le portugais et le vietnamien.