MMLU-CF는 Microsoft가 2024년에 발표한 오염되지 않고 더 도전적인 객관식 문제 벤치마크 데이터셋으로, 관련 논문 성과는 「MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark」이며, 대규모 언어 모델의 훈련 데이터 유출로 인한 오픈소스 벤치마크의 평가 신뢰성 문제를 해결하는 것을 목표로 합니다.

이 데이터셋은 20,000개의 객관식 문제를 포함하며, 생물학, 수학, 화학, 물리학, 법학, 공학 등 여러 학문 분야를 포괄합니다. 엄격한 오염 제거 규칙과 비공개 테스트 세트 설계를 통해 MMLU-CF는 모델의 기억 효과를 효과적으로 방지하며, 대규모 언어 모델의 진정한 추론 능력을 평가하기 위한 더 순수한 벤치마크를 제공합니다.

데이터셋 구성

• 검증 세트(val): 10,000개의 객관식 문제를 포함하며, 학문별로 Biology, Math, Chemistry, Physics, Law, Engineering, Other, Economics, Health, Psychology, Business, Philosophy, Computer Science, History 등의 하위 세트로 나뉩니다.

• 개발 세트(dev): 해당 개발 데이터를 포함하며, 동일한 학문 범주에 따라 여러 하위 세트로 나뉘어 모델 평가 및 실험에 사용됩니다.

Citation

@misc{zhao2024mmlucfcontaminationfreemultitasklanguage,
      title={MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark}, 
      author={Qihao Zhao and Yangyu Huang and Tengchao Lv and Lei Cui and Qinzheng Sun and Shaoguang Mao and Xin Zhang and Ying Xin and Qiufeng Yin and Scarlett Li and Furu Wei},
      year={2024},
      eprint={2412.15194},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.15194}, 
}