HyperAI超神经

MMMLU 多语言多任务语言理解数据集

* 该数据集支持在线使用,点击此处跳转

多语言大规模多任务语言理解 (MMMLU) 数据集是由 OpenAI 于 2024 年推出的一个开源数据集,旨在评估和提升人工智能模型在不同语言、认知和文化背景下的性能。 MMMLU 建立在大规模多任务语言理解 (MMLU) 基准的基础上,是人工智能模型所达到的常识性指标,包含 57 个不同学科领域的任务,涵盖了从初级知识到法律、物理、历史和计算机科学等高级专业学科。

研究团队使用专业的人工翻译将 MMLU 的测试集翻译成 14 种语言。依靠人工翻译进行此次评估可以提高对翻译准确性的信心,尤其是对于资源匮乏的语言(如约鲁巴语)。通过专业翻译人员进行翻译,MMMLU 能确保数据集的准确性和可靠性,这对于评估 AI 模型在跨语言任务中的能力至关重要。

MMMLU 的主要功能包括多语言评估、多任务能力测试、跨文化理解、提升模型多样性和支持研究和开发。技术原理包括数据集构建、专业翻译、多语言支持、评估工具开发和性能分析。

MMMLU 的应用场景包括语言模型评估、机器翻译系统、跨文化交流、教育技术和国际化业务。数据集的发布,将会在自然语言处理 (NLP) 研究领域引发深远的影响,无论是对于理论的探索还是实际应用的开发,MMMLU 都提供了重要的资源支持。

MMMLU.torrent
做种 1正在下载 0已完成 46总下载次数 192
  • MMMLU/
    • README.md
      2.19 KB
    • README.txt
      4.38 KB
      • data/
        • MMMLU.zip
          31.05 MB