MMLU-CF ist ein von Microsoft im Jahr 2024 veröffentlichter, kontaminationsfreier und anspruchsvollerer Multiple-Choice-Benchmark-Datensatz, dessen zugehöriges Forschungspapier „MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark" lautet und darauf abzielt, das Problem unzuverlässiger Bewertungen offener Benchmarks aufgrund von Datenlecks beim Training großer Sprachmodelle zu lösen.

Der Datensatz umfasst 20.000 Multiple-Choice-Fragen aus verschiedenen Fachbereichen wie Biologie, Mathematik, Chemie, Physik, Recht, Ingenieurwesen und mehr. Durch strenge Dekontaminationsregeln und ein geschlossenes Testset-Design vermeidet MMLU-CF effektiv Memorierungseffekte von Modellen und bietet einen reineren Benchmark zur Bewertung der realistischen Denkfähigkeit großer Sprachmodelle.

Zusammensetzung des Datensatzes

• Validierungsset (val): Enthält 10.000 Multiple-Choice-Fragen, unterteilt in Untergruppen wie Biology, Math, Chemistry, Physics, Law, Engineering, Other, Economics, Health, Psychology, Business, Philosophy, Computer Science, History nach Fachdisziplinen.

• Entwicklungsset (dev): Enthält die entsprechenden Entwicklungsdaten, unterteilt in mehrere Untergruppen nach denselben Fachkategorien, für Modellbewertung und Experimente.

Citation

@misc{zhao2024mmlucfcontaminationfreemultitasklanguage,
      title={MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark}, 
      author={Qihao Zhao and Yangyu Huang and Tengchao Lv and Lei Cui and Qinzheng Sun and Shaoguang Mao and Xin Zhang and Ying Xin and Qiufeng Yin and Scarlett Li and Furu Wei},
      year={2024},
      eprint={2412.15194},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.15194}, 
}