MMLU-CF est un ensemble de données de référence à choix multiples, non pollué et plus exigeant, publié par Microsoft en 2024, dont l'article de recherche associé est « MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark », visant à résoudre le problème d'évaluation peu fiable des références open source en raison de la fuite de données d'entraînement des grands modèles de langage.

Cet ensemble de données contient 20 000 questions à choix multiples, couvrant plusieurs domaines disciplinaires tels que la biologie, les mathématiques, la chimie, la physique, le droit, l'ingénierie, etc. Grâce à des règles de décontamination strictes et à une conception de jeu de test fermé, MMLU-CF évite efficacement l'effet de mémorisation des modèles, fournissant une référence plus pure pour évaluer les capacités de raisonnement authentique des grands modèles de langage.

Composition de l'ensemble de données

• Ensemble de validation (val) : contient 10 000 questions à choix multiples, divisées en sous-ensembles par discipline : Biology, Math, Chemistry, Physics, Law, Engineering, Other, Economics, Health, Psychology, Business, Philosophy, Computer Science, History, etc.

• Ensemble de développement (dev) : contient les données de développement correspondantes, divisées en plusieurs sous-ensembles selon les mêmes catégories disciplinaires, pour l'évaluation et les expériences des modèles.

Citation

@misc{zhao2024mmlucfcontaminationfreemultitasklanguage,
      title={MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark}, 
      author={Qihao Zhao and Yangyu Huang and Tengchao Lv and Lei Cui and Qinzheng Sun and Shaoguang Mao and Xin Zhang and Ying Xin and Qiufeng Yin and Scarlett Li and Furu Wei},
      year={2024},
      eprint={2412.15194},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.15194}, 
}